23 lines
4.8 KiB
Plaintext
23 lines
4.8 KiB
Plaintext
|
ó
|
|||
|
|
†âiU ã ó@ • S SK r S SKrS SKJr S SKJr " S S5 rg)é N)ÚSentenceTransformer)Úcosine_similarityc ó6 • \ rS rSrS rS rS rS rS S jrSr g)
|
|||
|
|
Ú Segmenteré c ó’ • [ S5 [ SSS0S9U l [ S5 U l [ S5 U l [ S5 g ) Nuu در Øال بارگذاری مدل‌های امبدینگ از مسیر لوکال... لطÙ�ا صبور باشید.zC:/Models/bge-m3Úuse_safetensorsF)Ú model_kwargsz C:/Models/multilingual-e5-largezC:/Models/LaBSE_Localu: مدل‌ها با موÙ�قیت بارگذاری شدند!)Úprintr Ú model_bgeÚmodel_e5Ú model_labse)Úselfs ÚHC:\Users\amir1\pythonProject5\Siavash\project 1\modules\segmenter_old.pyÚ__init__ÚSegmenter.__init__ sM € Ü
|
|||
|
|
ð Fô Gô -Ð-?ÐO`ÐbgÐNhÑiˆŒÜ+Ð,MÓNˆŒ
|
|||
|
|
Ü.Ð/FÓGˆÔä
|
|||
|
|
ÐJÕKó c óv • U R R X/5 nU R R X/5 nU R R X/5 n[ US /US /5 S S n[ US /US /5 S S n[ US /US /5 S S n[
|
|||
|
|
R " XgU/5 $ )ui Ù…Øاسبه میانگین شباهت کسینوسی از Û³ مدل برای دو متن داده شدهr é )r Úencoder
|
|||
|
|
r r ÚnpÚmean) r Útext1Útext2Úemb_bgeÚemb_e5Ú emb_labseÚsim_bgeÚsim_e5Ú sim_labses r Úget_similaritiesÚSegmenter.get_similarities sÀ € à—.‘.×'Ñ'¨¨Ó7ˆØ— ‘ ×%Ñ% u nÓ5ˆØ×$Ñ$×+Ñ+¨U¨NÓ;ˆ ä# W¨Q¡Z L°7¸1±:°,Ó?ÀÑBÀ1ÑEˆÜ" F¨1¡I ;°¸±° Ó<¸QÑ?ÀÑBˆÜ% y°¡| n°yÀ±|°nÓEÀaÑHÈÑKˆ ä�wŠw˜¨Ð3Ó4Ð4r c ó • / n[ U5 n[ U5 Hm nX n[ USS5 H nX U:¼ a X nM O X n[ XC5 H nX U:¼ a X nM O XQU -
|
|||
|
|
XqU -
|
|||
|
|
- nUR U5 Mo U$ )uh Ù…Øاسبه عمق دره‌ها (Gap Scores) با استÙ�اده از قله‌های Ú†Ù¾ Ùˆ راستéÿÿÿÿ)ÚlenÚrangeÚappend) r Ú similaritiesÚ depth_scoresÚnÚiÚ left_peakÚjÚ
|
|||
|
|
right_peakÚdepths r Úcalculate_depth_scoresÚ Segmenter.calculate_depth_scores s¨ € àˆ Ü � Ó ˆä�q–ˆAà$™ˆIܘ1˜b "Ö%�Ø ‘? iÓ/Ø ,¡’Iáñ &ð &™ ˆJܘ1–[�Ø ‘? jÓ0Ø!-¡ ’Jáñ !ð ¨a¡ Ñ0°ZÈqÁ/Ñ5QÑRˆEØ × Ñ Ö &ñ' ð* Ðr c óÊ • UR SS5 n[ R " SU5 Vs/ s H) o"R 5 ( d M UR 5 PM+ nnU$ s snf )u0 جداسازی متن اولیه به جملاتÚ
|
|||
|
|
Ú u (?<=[.!?ØŸ]) +)ÚreplaceÚreÚsplitÚstrip)r ÚtextÚsÚ sentencess r Úextract_sentencesÚSegmenter.extract_sentences9 sN € à�|‰|˜D #Ó&ˆä(*¯ªÐ1BÀDÔ(IÓWÒ(I 1ÏWÉWÏY“Y�Q—W‘W–YÑ(Iˆ ÐWØÐùò Xs ¬A ÁA c ó0 • [ U5 nUS: a U/$ / n[ US-
|
|||
|
|
5 H- nU R X XS- 5 nUR U5 M/ U R U5 n[
|
|||
|
|
R " U5 n [
|
|||
|
|
R " U5 n
|
|||
|
|
X’U
|
|||
|
|
- - n / n US /n
|
|||
|
|
[ [ U5 5 HD nX† U :¼ a# X† U:” a U R U
|
|||
|
|
5 XS- /n
|
|||
|
|
M. U
|
|||
|
|
R XS- 5 MF U
|
|||
|
|
( a U R U
|
|||
|
|
5 U $ )uä
|