25 lines
5.4 KiB
Plaintext
25 lines
5.4 KiB
Plaintext
|
Ë
|
|||
|
|
nr>jõ ã ó@ — d dl Z d dlZd dlmZ d dlmZ G d„ d« Zy)é N)ÚSentenceTransformer)Úcosine_similarityc ó, — e Zd Zd„ Zd„ Zd„ Zd„ Zdd„Zy)Ú Segmenterc ó¸ — t d« t dddi¬« | _ t d« | _ t d« | _ t d« | _ t d « y )
|
|||
|
|
NzLoading models :zC:/Models/bge-m3Úuse_safetensorsF)Ú model_kwargsz C:/Models/multilingual-e5-largezC:/Models/LaBSE_LocalzC:/Models/ParsRobertaz 4 models loaded successfully)Úprintr Ú model_bgeÚmodel_e5Ú model_labseÚmodel_parsroberta)Úselfs ú;/home/aliakbar/Desktop/Projects/Mehvar/modules/segmenter.pyÚ__init__zSegmenter.__init__ sS € Ü
|
|||
|
|
Ð Ô!ä,Ð-?ÐO`ÐbgÐNhÔiˆŒÜ+Ð,MÓNˆŒ
|
|||
|
|
Ü.Ð/FÓGˆÔÜ!4Ð5LÓ!MˆÔ ä
|
|||
|
|
Ð,Õ-ó c óì — | j j ||g« }| j j ||g« }| j j ||g« }| j j ||g« }t |d g|d g« d d }t |d g|d g« d d }t |d g|d g« d d } t |d g|d g« d d }
|
|||
|
|
t
|
|||
|
|
j ||| |
|
|||
|
|
g« S )ui Ù…Øاسبه میانگین شباهت کسینوسی از Û´ مدل برای دو متن داده شدهr é )r Úencoder r
|
|||
|
|
r r ÚnpÚmean) r Útext1Útext2Úemb_bgeÚemb_e5Ú emb_labseÚemb_parsrobertaÚsim_bgeÚsim_e5Ú sim_labseÚsim_parsrobertas r Úget_similaritieszSegmenter.get_similarities s € à—.‘.×'Ñ'¨°¨Ó7ˆØ— ‘ ×%Ñ% u¨e nÓ5ˆØ×$Ñ$×+Ñ+¨U°E¨NÓ;ˆ Ø ×0Ñ0×7Ñ7¸À¸ÓGˆä# W¨Q¡Z L°7¸1±:°,Ó?ÀÑBÀ1ÑEˆÜ" F¨1¡I ;°¸±° Ó<¸QÑ?ÀÑBˆÜ% y°¡| n°yÀ±|°nÓEÀaÑHÈÑKˆ Ü+¨_¸QÑ-?Ð,@À?ÐSTÑCUÐBVÓWÐXYÑZÐ[\Ñ]ˆô �w‰w˜ ¨°OÐDÓEÐEr c ó — g }t |« }t |« D ]o }|| }t |dd« D ] }|| |k\ r|| }Œ n || }t ||« D ] }|| |k\ r|| }Œ n ||| z
|
|||
|
|
||| z
|
|||
|
|
z }|j |« Œq |S )uh Ù…Øاسبه عمق دره‌ها (Gap Scores) با استÙ�اده از قله‌های Ú†Ù¾ Ùˆ راستéÿÿÿÿ)ÚlenÚrangeÚappend) r Ú similaritiesÚ depth_scoresÚnÚiÚ left_peakÚjÚ
|
|||
|
|
right_peakÚdepths r Úcalculate_depth_scoresz Segmenter.calculate_depth_scores! sº € àˆ Ü � Ó ˆä�q–ˆAØ$ Q™ˆIܘ1˜b "Ö%�Ø ‘? iÒ/Ø ,¨Q¡‘Iáð &ð & a™ ˆJܘ1˜a–[�Ø ‘? jÒ0Ø!-¨a¡ ‘Jáð !ð ¨a¡ Ñ0°ZÀ,ÈqÁ/Ñ5QÑRˆEØ × Ñ Õ &ð! ð$ Ðr c ó¸ — |j dd« }t j d|« D �cg c]# }|j « sŒ|j « ‘Œ% }}|S c c}w )u0 جداسازی متن اولیه به جملاتÚ
|
|||
|
|
Ú u (?<=[.!?ØŸ]) +)ÚreplaceÚreÚsplitÚstrip)r ÚtextÚsÚ sentencess r Úextract_sentenceszSegmenter.extract_sentences: sN € à�|‰|˜D #Ó&ˆÜ(*¯©Ð1BÀDÔ(IÓWÑ(I 1ÈQÏWÉWÍY�Q—W‘W•YÐ(Iˆ ÐWØÐùò Xs «AÁANc ó — t |« }|dk r|gS g }t |dz
|
|||
|
|
« D ]. }| j || ||dz « }|j |« Œ0 | j |« } |rrd|cxk r|k rgn ndt j | « |dz
|
|||
|
|
d }
|
|||
|
|
t |
|
|||
|
|
« }
|
|||
|
|
g } d} |
|
|||
|
|
D ] }
|
|||
|
|
| j || |
|
|||
|
|
dz « |
|
|||
|
|
dz } Œ | j || d « | S t j | « }t j | « }|||z z }g } |d g}t t |« « D ]D }| | |k\ r#| | |kD r| j |« ||dz g}Œ.|j ||dz « ŒF |r| j |« | S )u
|
|||
|
|
دریاÙ�ت جملات یا واØدهای معنایی Ùˆ کلاسترینگ آن‌ها.
|
|||
|
|
اگر پارامتر force_count ارسال شود، الگوریتم موظ� است دقیقاً همان تعداد سگمنت تولید کند.
|