29 lines
5.6 KiB
Plaintext
29 lines
5.6 KiB
Plaintext
|
ó
|
|||
|
|
«Œóiì ã ó@ • S SK r S SKrS SKJr S SKJr " S S5 rg)é N)ÚSentenceTransformer)Úcosine_similarityc ó6 • \ rS rSrS rS rS rS rS S jrSr g)
|
|||
|
|
Ú Segmenteré c ó² • [ S5 [ SSS0S9U l [ S5 U l [ S5 U l [ S5 U l [ S 5 g )
|
|||
|
|
Nuo در Øال بارگذاری Û´ مدل امبدینگ از مسیر لوکال... لطÙ�ا صبور باشید.zC:/Models/bge-m3Úuse_safetensorsF)Ú model_kwargsz C:/Models/multilingual-e5-largezC:/Models/LaBSE_LocalzC:/Models/ParsRobertauA تمامی Û´ مدل با موÙ�قیت بارگذاری شدند!)Úprintr Ú model_bgeÚmodel_e5Ú model_labseÚmodel_parsroberta)Úselfs ÚDC:\Users\amir1\pythonProject5\Siavash\project 1\modules\segmenter.pyÚ__init__ÚSegmenter.__init__ sZ € Ü
|
|||
|
|
Ðô Aô -Ð-?ÐO`ÐbgÐNhÑiˆŒÜ+Ð,MÓNˆŒ
|
|||
|
|
Ü.Ð/FÓGˆÔô "5Ð5LÓ!MˆÔ ä
|
|||
|
|
ÐQÕRó c óâ • U R R X/5 nU R R X/5 nU R R X/5 nU R R X/5 n[ US /US /5 S S n[ US /US /5 S S n[ US /US /5 S S n [ US /US /5 S S n
|
|||
|
|
[ R " XxXš/5 $ )ui Ù…Øاسبه میانگین شباهت کسینوسی از Û´ مدل برای دو متن داده شدهr é )r Úencoder
|
|||
|
|
r r r ÚnpÚmean) r Útext1Útext2Úemb_bgeÚemb_e5Ú emb_labseÚemb_parsrobertaÚsim_bgeÚsim_e5Ú sim_labseÚsim_parsrobertas r Úget_similaritiesÚSegmenter.get_similarities s € à—.‘.×'Ñ'¨¨Ó7ˆØ— ‘ ×%Ñ% u nÓ5ˆØ×$Ñ$×+Ñ+¨U¨NÓ;ˆ Ø ×0Ñ0×7Ñ7¸¸ÓGˆä# W¨Q¡Z L°7¸1±:°,Ó?ÀÑBÀ1ÑEˆÜ" F¨1¡I ;°¸±° Ó<¸QÑ?ÀÑBˆÜ% y°¡| n°yÀ±|°nÓEÀaÑHÈÑKˆ Ü+¨_¸QÑ-?Ð,@À?ÐSTÑCUÐBVÓWÐXYÑZÐ[\Ñ]ˆô �wŠw˜¨ÐDÓEÐEr c ó • / n[ U5 n[ U5 Hm nX n[ USS5 H nX U:¼ a X nM O X n[ XC5 H nX U:¼ a X nM O XQU -
|
|||
|
|
XqU -
|
|||
|
|
- nUR U5 Mo U$ )uh Ù…Øاسبه عمق دره‌ها (Gap Scores) با استÙ�اده از قله‌های Ú†Ù¾ Ùˆ راستéÿÿÿÿ)ÚlenÚrangeÚappend) r Ú similaritiesÚ depth_scoresÚnÚiÚ left_peakÚjÚ
|
|||
|
|
right_peakÚdepths r Úcalculate_depth_scoresÚ Segmenter.calculate_depth_scores$ s¨ € àˆ Ü � Ó ˆä�q–ˆAØ$™ˆIܘ1˜b "Ö%�Ø ‘? iÓ/Ø ,¡’Iáñ &ð &™ ˆJܘ1–[�Ø ‘? jÓ0Ø!-¡ ’Jáñ !ð ¨a¡ Ñ0°ZÈqÁ/Ñ5QÑRˆEØ × Ñ Ö &ñ! ð$ Ðr c óÊ • UR SS5 n[ R " SU5 Vs/ s H) o"R 5 ( d M UR 5 PM+ nnU$ s snf )u0 جداسازی متن اولیه به جملاتÚ
|
|||
|
|
Ú u (?<=[.!?ØŸ]) +)ÚreplaceÚreÚsplitÚstrip)r ÚtextÚsÚ sentencess r Úextract_sentencesÚSegmenter.extract_sentences= sN € à�|‰|˜D #Ó&ˆÜ(*¯ªÐ1BÀDÔ(IÓWÒ(I 1ÏWÉWÏY“Y�Q—W‘W–YÑ(Iˆ ÐWØÐùò Xs ¬A ÁA Nc ó( • [ U5 nUS: a U/$ / n[ US-
|
|||
|
|
5 H- nU R X XS- 5 nUR U5 M/ U R U5 n U( au SUs=: a U: ah O Oe[
|
|||
|
|
R " U 5 US-
|
|||
|
|
* S n
|
|||
|
|
[ U
|
|||
|
|
5 n
|
|||
|
|
/ n Sn U
|
|||
|
|
H n
|
|||
|
|
U R X U
|
|||
|
|
S- 5 U
|
|||
|
|
S- n M U R X S 5 U $ [
|
|||
|
|
R " U 5 n[
|
|||
|
|
R " U 5 nXãU- - n/ n US /n[ [ U5 5 HD nX— U:¼ a# X— U:” a U R U5 XS- /nM. UR XS- 5 MF U( a U R U5 U $ )uó
|
|||
|
|
دریاÙ�ت جملات یا واØدهای معنایی Ùˆ کلاسترینگ آن‌ها.
|
|||
|
|
اگر پارامتر force_count ارسال شود، الگوریتم موظ� است دقیقاً همان تعداد سگمنت تولید کند.
|
|||
|
|
é r Nr )
|
|||
|
|
r( r) r$ r* r3 r ÚargsortÚsortedr Ústd)r ÚitemsÚ force_countÚstd_multiplierÚ min_depthÚn_itemsr+ r. Úsimr, Útop_cut_indicesÚgrouped_segmentsÚstartÚidxÚ
|