Uzlabota funkciju parametru iegūšana no runas signāliem, izmantojot mašīnmācīšanās algoritmu (2)

3.7. Datu kopa Datu kopu vākšanas un ģenerēšanas procesi tika veikti šādi. Šajā pētījumā modeļa apmācībai tika izmantota datu kopa ar 120 h audio. Datu kopa ietver runas audio ierakstus, kas sastāv no teikumiem, kuru maksimālais garums ir 15 vārdi un kuru kopējais garums ir aptuveni 120 h.

Tuksneša žeņšeņs

Turklāt datu kopa ietver lielu daudzumu dažāda teksta izmantošanai valodas modeļa izstrādē. Tika apkopoti vairāk nekā 90 650 izteikumi, 415 780 vārdi un 65 810 unikālu vārdu, kas tika iekļauti teksta korpusā, kā rezultātā tika iegūti aptuveni 120 h pārrakstīti runas dati. Mēs sadalām datu kopu apmācības, validācijas un testa kopās. Datu kopas statistika

ir norādīti 3. tabulā.

3. tabula. Datu kopas specifikācijas.

Mēs sadalījām datu kopu trīs mapēs, kas atbilst apmācības, validācijas un testa kopām. Katrā mapē ir audio ieraksti un atšifrējumi. Audio un atbilstošo transkripcijas failu nosaukumi ir vienādi, izņemot to, ka audio ieraksti tiek saglabāti kā WAV faili, savukārt transkripcijas tiek glabātas kā TXT faili, izmantojot UTF-8 kodējumu. Visas transkripcijas ir attēlotas, izmantojot latīņu alfabētu, kas sastāv no 29 burtiem un apostrofa simbola. Lai novērstu pārmērīgu pielāgošanu, mēs izmantojām datu palielināšanas metodes, kuru pamatā ir ātruma traucējumi un spektra uzlabošana.

Cistanche deserticola

4. Piedāvātā metode

Svarīgs programmētāju uzdevums, izstrādājot runas atpazīšanas sistēmas, ir optimālas metodes radīšana runas signālu parametriskai izteiksmei [45]. Šī metode nodrošina lielisku skaņu un runāto vārdu atdalīšanu, vienlaikus nodrošinot, ka runātāji ir nejutīgi pret izrunas modeļiem un izmaiņām akustiskajā vidē. Lielāko daļu kļūdu vārdu atpazīšanā izraisa signāla augstuma izmaiņas mikrofona nobīdes vai izrunas augstuma atšķirības dēļ [46]. Vēl viens izplatīts kļūdu cēlonis ir nejaušas spektra formas nelineāras deformācijas, kas vienmēr ir sastopamas runātāja runas signālā [47,48]. Tāpēc viens no svarīgākajiem uzdevumiem efektīvu runas atpazīšanas sistēmu izveidē ir tāda reprezentācijas izvēle, kas ir pietiekama analizējamā signāla saturam, kā arī nejutīga pret runātāju balsīm un dažādām akustiskām vidēm.

Cistanche papildinājums netālu no manis — Atmiņas uzlabošana

Sistēmai, kas tiek izmantota līdzekļu parametru iegūšanai, parasti ir šādas prasības. Informācijas saturam, tas ir, pazīmju parametru kopumam, ir jānodrošina atpazīstamu runas elementu uzticama identificēšana. Turklāt ir jāsamazina skaļums, tas ir, audio signāla maksimālā saspiešana un parametru nestatistiskā korelācija. Jāpanāk arī neatkarība no runātāja, tas ir, no rakstzīmju vektora maksimāli jānoņem informācija, kas attiecas uz runātāja īpašībām. Visbeidzot, ir jānodrošina viendabīgums, kas attiecas uz parametriem ar vienādu vidējo dispersiju un iespēju izmantot vienkāršus rādītājus, lai noteiktu afinitāti starp rakstzīmju kopām [49]. Tomēr ne vienmēr ir iespējams izpildīt visas prasības vienlaicīgi, jo šādas prasības ir pretrunīgas. Runas elementu parametriskajam aprakstam jābūt pietiekami detalizētam, lai tos ticami atšķirtu, un tam jābūt pēc iespējas lakoniskam.

Supermena garšaugu cistanche

Praksē runas signāls, kas tiek saņemts no mikrofona, tiek digitalizēts ar paraugu ņemšanas frekvenci no 8 līdz 22 kHz. Sērijas skaitliskās vērtības tiek sadalītas runas fragmentos (kadros) ar ilgumu no 10 līdz 30 ms, kas atbilst kvazistacionārām runas daļām. No katra kadra tiek aprēķināts pazīmju vektors, kas pēc tam tiek izmantots runas atpazīšanas akustiskajā līmenī. Pašlaik ir pieejams plašs metožu klāsts signālu parametriskai attēlošanai, pamatojoties uz autokorelācijas analīzi, aparatūras lineāro filtrēšanu, spektrālo analīzi un LPC. Visizplatītākā runas parametru noteikšanas pieeja ir signālu fragmentu spektrālā analīze un to cepstrālo koeficientu aprēķināšana.

MFCC ir izmantotas kā informatīvas funkcijas runas signālam [41]. Šīs īpašības tiek plaši izmantotas runas atpazīšanā, un to pamatā ir divi galvenie jēdzieni: cepstral un Mel skalas. Algoritma galvenās priekšrocības ir tā augstais pārzināšanas līmenis un runas vieglums. MFCC funkcijas ir atdalītas no ierakstītajiem runas signāliem. MFCC algoritms izmanto fonogrammas un spektra pārslēgšanas algoritmu rezultātus. Klasiskais algoritms, ko izmanto MFCC aprēķināšanai, ir parādīts 5. attēlā.

5. attēls. Klasiskā MFCC aprēķināšanas shēma.

Šis pētījums piedāvā ātru metodi funkciju parametru iegūšanai no runas signāla. Piedāvātais algoritms ātrai MFCC aprēķināšanai ir parādīts 6. attēlā.

6. attēls. Piedāvātā sistēma MFCC aprēķināšanai.

Mēs ņemam vērā piedāvātā algoritma izpildes secību funkciju parametru ātrai iegūšanai no runas signāla.

4.1. Sadalījums rāmjos

Pēc sākotnējās filtrēšanas runas signāls tiek sadalīts 16 ms kadros. Katrs kadrs (izņemot pirmo) satur iepriekšējā kadra pēdējās 10 ms. Šis process turpinās līdz signāla beigām. Šajā pētījumā runas signāla iztveršanas frekvence ir 16 kHz, kadra garums ir N=256 un nobīdes garums ir M=160. Pārklāšanās ir 62,5 procenti no kadra garuma. Parasti ieteicamais pārklājums ir no 50 līdz 75 procentiem no kadra garuma.

4.2. Hanninga logs un vērtību samazināšanās

Tika izmantots Hanninga loga izmērs 1D. Hanninga logu sauc arī par paaugstinātu kosinusa logu. Hanninga logu var uzskatīt par trīs taisnstūrveida laika logu frekvenču spektra summu. Tas var izmantot sānu daivas, lai izslēgtu viena otru, novēršot augstfrekvences traucējumus un enerģijas noplūdi. Hanning logi ir ļoti noderīgas logu funkcijas.

Cistanche papildinājums netālu no manis — Atmiņas uzlabošana

Noklikšķiniet šeit, lai skatītu produktus Cistanche, kas uzlabo atmiņu un novērš Alcheimera slimību

【Jautājiet vairāk】 E-pasts:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Lai samazinātu kropļojumus un izlīdzinātu atsevišķus kadrus, tiek izmantota svara kaste. Peldošais signāls, kas tiek pārbaudīts šajā pētījumā, sastāv no blīva toņa. Plakanā toņa lielumu nosaka tīrā toņa lielums frekvencē f, kas tiek filtrēts caur Hanninga logu.

Svarīgs šī loga aspekts ir tas, ka tas iestata kadru robežas uz nulli. Šajā gadījumā īsās enerģijas var aprēķināt, izejot cauri logam, un tās var pārnest no secības, kas tiek izmantota zemākās amplitūdas enerģijas aprēķināšanai. Mērķis ir noņemt no signāla zemas enerģijas signālus, aprēķinot signāla enerģiju, vienlaikus izlīdzinot signālu no šī loga. Šim procesam nepieciešams šāds signāla enerģijas vienādojums:

kur En ir ieejas signāla fragmenta enerģija un xi ir signāla vērtība.

Papildus loga procesam, izmantojot (11), signāls tiek apstrādāts nākamajā darbībā, kas ievērojami samazina procesorā ienākošo vērtību skaitu. 7. attēlā parādīts paralēlās apstrādes algoritms.

Loga izmērs norāda vairākus paraugus un ilgumu. Tas ir galvenais analīzes parametrs. Loga izmērs ir atkarīgs no pamata frekvences, intensitātes un signāla izmaiņām.

7. attēls. Hanning loga algoritms kluso daļu noņemšanai. 4.3. Īstermiņa Furjē transformācijas (STFT) slēdži Pastāv intuitīva izpratne par augsta vai zema augstuma nozīmi. STFT ir Furjē transformācija, ko izmanto, lai noteiktu signāla lokālo daļu sinusoidālās frekvences un fāzes saturu, jo tas laika gaitā mainās. Praksē STFT aprēķins ietver garāka laika signāla sadalīšanu īsākos vienāda garuma segmentos, kam seko atsevišķs Furjē transformācijas aprēķins katrā īsākā segmentā. Tas atklāj katra īsākā segmenta Furjē spektru. Diskrētā laika signāli ir izmanto praksē. Atbilstošā laika un frekvences pārveidošana ir diskrēta Furjē konversija, kas apraksta signāla garumu Xn kā N koeficientu kompleksās vērtības frekvenču domēna reprezentatīvu. STFT, kas apraksta frekvences komponentu attīstību laika gaitā, ir viens no visplašāk izmantotajiem runas analīzes un apstrādes rīkiem [50]. Līdzīgi kā pašam spektram, viena STFT priekšrocība ir tā, ka tā parametriem ir fiziska un intuitīva interpretācija. STFT parasti tiek vizualizēts, izmantojot log spektrus 20log10 (X(h, k)). Šādus 2D log spektrus pēc tam var apskatīt, izmantojot termisko karti, kas pazīstama kā spektrogramma. Algoritma trešajā posmā STFT spektrālās pārslēgšanas procedūra tiek piemērota kadriem, kas tiek izlaisti caur svara logu. Signāla STFT tiek iegūts, atverot logus un nosakot katra loga DFT. Jo īpaši ievades signāla Xn un Wn logu transformāciju nosaka šādi:

kur k-indekss atbilst frekvences vērtībām, un wn ir loga funkcija, kas parasti ir Hanninga logs vai Gausa logs, kas ir centrēts ap nulli.

4.4. Mel Transform

Ceturtajā posmā signāls, kas tiek pārsūtīts uz frekvenču joslu, tiek sadalīts diapazonos, izmantojot trīsstūrveida fifiltrus. Fifiltra robežas tiek aprēķinātas, izmantojot krīta frekvenci. Pāreja uz krīta frekvences fifield ir balstīta uz šādu vienādojumu:

kur f ir frekvenču diapazons.

Reversais slēdzis tiek noteikts šādi:

Apsveriet NN kā filtru skaitu (parasti tiek izmantoti 26 filtri) un plūsmas, kas ir tikpat lielas kā pētāmais frekvenču diapazons. Šis diapazons tiek pārnests uz Mel skalu un sadalīts NN vienmērīgi sadalītos krustošanās diapazonos. Lineārās frekvencei atbilstošās robežas tiek noteiktas fifieldā, savukārt svēršanas koeficientus, kas iegūti, pamatojoties uz fifiltrāciju, apzīmē ar H. Pēc tam fifiltrus piemēro Furjē transformācijas rezultātā iegūto koeficientu kvadrātveida modulim. Iegūtās vērtības ir logaritmiskas, pateicoties šādai izteiksmei:

Vienskaitļa vērtību sadalīšanas algoritms tiek ieviests MFCC aprēķināšanas pēdējā posmā.

5. Eksperimentu rezultāti

Mēs ieviesām un pārbaudījām piedāvāto metodi programmā Visual Studio 2019 C plus plus datorā ar 4,90 GHz centrālo procesoru, 32 GB RAM un diviem Nvidia GeForce 2080Ti GPU, kā parādīts 4. tabulā. Sistēma tika pārbaudīta dažādās ierīču vidēs, lai novērtēt signāla pazīmju ieguves metodes veiktspēju. Eksperimentos algoritma darbības laikā (8. attēls), kad signāla virsmu secība bija n=15, vērtību skaits tika samazināts par 40–50 procentiem un apstrādes laiks palielinājās par 1. 2-fold. Līdz ar to šis algoritms uzrādīja ievērojami augstāku efektivitāti. Turklāt šis algoritms ļāva atdalīt un likvidēt klusuma zonas, izejot cauri Hanninga logam.

Ir pieejami vairāki iespējamie līdzekļi, lai izvairītos no atmiņas joslas platuma izšķērdēšanas. Mēs piedāvājam jaunu risinājumu, kas palielina skaitļošanas veiktspēju, saskaņojot signālu kadru lielumu ar kešatmiņas bloka lielumu. Šāda veida optimizācija var būtiski ietekmēt kopējo paralēlās apstrādes veiktspēju. Tomēr to var izmantot digitālajā signālu apstrādē, sadalot signālu kadros, izmantojot daudzkodolu procesorus. Tomēr praksē atlase parasti tiek veikta nelielā mērogā, kas atbilst datu kopnes platumam, kas savieno kešatmiņu ar galveno atmiņu, un tās bloka lielumam. Mūsu metode nodrošina šo atmiņu optimālu izmantošanu paralēlajā skaitļošanā. Kešatmiņas organizācijai ir būtiska loma paralēlās apstrādes algoritmos, sadalot datus plūsmās. Jo īpaši vektoru matricu efektu klātbūtne digitālajā signālu apstrādē un to straumju lielums ir jāpielāgo atbilstoši kešatmiņas bloku lielumam. To var panākt, izmantojot piedāvāto metodi, kā parādīts 9. attēlā.

4. tabula. Detalizētas eksperimentālās iestatīšanas specifikācijas.

8. attēls. (a) Sākotnējais ienākošais signāls un (b) signāla izskats pēc piedāvātā algoritma piemērošanas.

9. attēls. Paralēlās skaitļošanas struktūra, izmantojot RK3288 procesorus.

Šajā sadaļā mēs apspriežam kvantitatīvo analīzi, lai salīdzinātu dažādu sistēmu veiktspēju. Mēs salīdzinājām savu metodi ar labi zināmiem runas atpazīšanas algoritmiem, kuru pamatā ir dziļas mācīšanās pieejas. Novērtēšanas metrika ir būtiska, lai aprēķinātu dažādas runas atpazīšanas stratēģijas un novērtētu dažādu pieeju veiktspēju. Lai gan salīdzināšanai izmantojām citu pētījumu rezultātus, mēs neesam pārliecināti, vai tie ir patiesi, jo šo metožu avota kodi un datu kopas nav publiski pieejamas, lai pārbaudītu faktisko veiktspēju. 10. attēlā ir attēlots rezultāts, kas iegūts, pārvietojot klusās daļas runas signāla fragmenta izlaišanas laikā caur Hanning logu, pamatojoties uz piedāvāto ātro algoritmu. Analīzes rezultātā iegūtie ātruma rezultāti ir parādīti 5. tabulā.

10. attēls. KNN algoritma k vērtība (ar pazīmju izvēli).

5. tabula. Piedāvātās metodes eksperimentālie rezultāti.

Ir noteikts diapazons, lai atrastu apkaimes pakāpi, kas nodrošina vislabāko precizitātes vērtību KNN algoritmā. Norādītais diapazons aptver 1–25. 10. attēlā tika izmantots KNN algoritma grafiks ar pazīmju atlasi. Kad tika pārbaudīts grafiks, kad apkārtnes vērtība sākumā bija 1, apmācības precizitāte bija daudz augstāka nekā testa precizitāte. KNN algoritmā, kas izveidots, izmantojot korelācijas ceļā atlasītās funkcijas, modeļa precizitāte tika noteikta 99,15 procenti apmācības datu kopā un 97,35 procenti testa datu kopā.

Vārda kļūdu biežums (WER) vai rakstzīmju kļūdu līmenis parasti tiek izmantots, lai novērtētu pazīmju ieguves precizitāti no runas signāla. Šīs ir objektīvas matricas, kas palīdz godīgi salīdzināt atpazīšanas metodes. Iepriekšējos pētījumos [51–56] mēs aprēķinājām tādus rādītājus kā F-mērs (FM), precizitāte un atsaukšana. FM ir vidējais svērtais rādītājs, kas līdzsvaro mērījumus starp precizitātes un atsaukšanas ātrumu. Precizitāte ir pareizi prognozēto pozitīvo novērojumu skaita attiecība pret kopējo prognozēto pozitīvo novērojumu skaitu. Atsaucība ir pareizi prognozēto pozitīvo novērojumu skaita attiecība pret kopējo novērojumu skaitu faktiskajā klasē, kā norādīts (9). Lai aprēķinātu iezīmju ieguves metožu vidējo precizitāti un atsaukšanas ātrumu, var izmantot šādus vienādojumus:

kur TP apzīmē patieso pozitīvo skaitu, FP apzīmē viltus pozitīvo skaitu un FN apzīmē viltus negatīvo skaitu.

FM tiek aprēķināts, izmantojot (10), ņemot vērā gan precizitāti, gan atsaukšanu.

Ierosinātās metodes vidējā FM, atsaukšana un precizitāte bija 98,4 procenti. Nepatiesa noteikšana notika 1,6 procentos gadījumu nevēlamu signālu trokšņa dēļ mikrofonā. Modeļa precizitātes diapazons bija no 0 līdz 1, un metrikas novērtējuma rezultāti sasniedza labākās vērtības pie 1. Mūsu metodes un citu nesen publicēto runas pazīmju iegūšanas metožu novērtējums ir parādīts 6. tabulā. Tas pats skaitlis no funkcijām tika izmantota godīgam salīdzinājumam. Kopumā tika analizēti 325 runas paraugi no katras grupas no subjektiem ar līdzīgu fonu. Lai uzlabotu precizitāti, tika pārbaudīta arī dažādu kadru garumu ietekme atkarībā no filtrēšanas bloku skaita MFCC un dažādu kadru garumu LPC secībā.

6. tabula. Runas pazīmju ieguves kvantitatīvās precizitātes rezultāti.

Kā minēts iepriekš, WER ir visizplatītākais runas atpazīšanas veiktspējas rādītājs. To aprēķina, salīdzinot atsauces transkripciju ar runas atpazinēja izvadi. Pamatojoties uz šo salīdzinājumu, ir iespējams aprēķināt kļūdu skaitu, kas parasti ietilpst trīs kategorijās: (1) ievietošana, ja vārds nav iekļauts atsaucē automātiskās runas atpazīšanas (ASR) izvadē, (2) svītrojumi, kad vārds tiek izlaists ASR izvadē, un (3) aizstāšana, ja vārds tiek sajaukts ar citu vārdu. WER var aprēķināt šādi.

kur S ir nepareizi atpazīto vārdu aizstāšanas skaits, D ir svītrojumu skaits, I ir ievietojumu skaits un N ir vārdu skaits atsauces transkripcijā. Galvenā problēma šī rezultāta aprēķināšanā ir divu vārdu secību saskaņošana. To var noteikt, izmantojot dinamisku programmēšanu, izmantojot Levenšteina attālumu [67].

Pamatojoties uz 6. tabulu, mēs veicām statistisko analīzi, lai norādītu salīdzināmo metožu vidējo precizitāti, izmantojot WER novērtēšanas metriku, kā parādīts 11. attēlā. Uzlabotā pazīmju ekstraktora precizitāte bija aptuveni 98,4 procenti , bet citas pieejas sniedza precizitāti starp 78 procenti un 96 procenti. Salīdzināšanai izmantojām attiecīgajos dokumentos sniegtos rezultātus; tomēr šo vērtību precizitāti nav viegli pārbaudīt, jo šo metožu avota kodi un datu kopas nav publiski pieejamas, lai apstiprinātu to reālo veiktspēju. Neskatoties uz to, standarta ainu gadījumā tika eksperimentāli pierādīts, ka piedāvātā metode nodrošina izcilu runas iezīmju ieguves precizitāti, samazinot skaitļošanas laiku, pat ja runas dati ir trokšņaini vai zemas kvalitātes.

11. attēls. Runas signāla pazīmju iegūšanas pieeju kvantitatīvie rezultāti, izmantojot vertikālos grafikus.

Turklāt mēs novērtējām izvēlēto metožu kļūdaini pozitīvos rezultātus. Kā redzams 12. attēlā, piedāvātajā pieejā bija vismazāk kļūdu. Turklāt ļoti efektīva paralēlās skaitļošanas metode ievērojami samazināja skaņas signāla funkciju atlases un ekstrakcijas kļūdas. Pārmērīga aprīkošana bija viena no galvenajām problēmām apmācību laikā, un no tā cieš gandrīz visi mašīnmācīšanās modeļi. Mēs mēģinājām samazināt pārmērīgas pielāgošanas risku, izmantojot funkciju atlases paņēmienu, kura mērķis ir ranžēt esošo datu kopas līdzekļu nozīmi un atmest mazāk svarīgos (jauni līdzekļi netiek izveidoti).

12. attēls. Viltus pozitīvu runas signālu iezīmju ekstrakcijas eksperimentu redzamie rezultāti.

7. tabulā parādīti to metožu veiktspējas rezultāti, kuras tika izmantotas runas atpazīšanas vidēs, pamatojoties uz dažādām īpašībām. Mūsu piedāvātā pieeja necieš no nevēlamiem un nevajadzīgiem fona trokšņiem, un to neietekmē zemas kvalitātes cilvēku balsis, piemēram, aizsmakusi balsis, balsis, ko rada iekaisis kakls, vai pat cilvēku skaņas ar pilnīgu balss zudumu. Mūsu metodes mērķis ir pārvarēt problēmas, kas saistītas ar neatbilstošu ierakstīšanas aprīkojumu, fona troksni, sarežģītiem akcentiem un dialektiem, kā arī dažādiem balss toņiem. Parastā vidē vislabākie rezultāti precīzai runas funkciju problēmu noteikšanai un iegūšanai tika iegūti, izmantojot piedāvāto metodi ar samazinātu apstrādes laiku.

7. tabula. Runas iezīmju noteikšanas un ekstrakcijas veiktspējas pārskats, izmantojot dažādas funkcijas.

Runas atpazīšanas metožu rezultāti septiņās kategorijās tika klasificēti kā spēcīgi, normāli vai vāji. Spēcīgais kritērijs parāda, ka algoritms var pārvarēt visa veida problēmas. Turpretim parastais kritērijs norāda, ka dažos gadījumos algoritms var neizdoties, jo vārdu robežas nav iepriekš noteiktas. Visbeidzot, vājais kritērijs liecina, ka algoritms nav uzticams fona trokšņa vai vibrāciju apstākļos.

6. Ierobežojumi

Ir grūti secināt, ka līdz šim ierosinātajām metodēm nav nekādu trūkumu. Mūsu piedāvātā metode var izraisīt kļūdas arī dažādu trokšņu vides dēļ. Lai pārvarētu šo problēmu, mūsu mērķis bija samazināt līdzekļu skaitu datu kopā, izveidojot jaunus līdzekļus no esošajiem līdzekļiem [69]. Tā kā pārfitēšana bija viens no galvenajiem jautājumiem dažādu modeļu apmācībā sacensību laikā, treniņu datu bagātināšana, pievienojot datu paraugus no dažādiem resursiem, varētu būt iespējamais risinājums rezultātu uzlabošanai. Neatkarīgi no iepriekšminētajām problēmām eksperimentālie rezultāti atklāja, ka mūsu metode bija ļoti izturīga un efektīva runas iezīmju iegūšanas uzdevumiem ar vidējo precizitāti 98,4 procenti un FM 99,5 procenti.

7. Secinājumi

Runas atpazīšanas sistēmām ir ierosināta jauna augstas veiktspējas paralēlās skaitļošanas pieeja, izmantojot mašīnmācīšanās metodi. Paātrinājuma problēmas mašīnās ar ierobežotiem skaitļošanas resursiem var atrisināt, izmantojot sadalītās sistēmas. Aprēķinu ātrumu signālu atpazīšanas sistēmās var palielināt un daudzkodolu platformu veiktspēju var uzlabot, izveidojot un izmantojot efektīvus un ātrus algoritmus. Rezultāti parāda, ka piedāvātais modelis samazina apstrādes laiku un uzlabo funkciju ieguves precizitāti par 98,4 procentiem, efektīvi izmantojot MFCC. Ir novērots, ka pazīmes ar zemām korelācijas vērtībām, kas iegūtas pazīmju atlasē, arī ir efektīvas modeļa panākumos. Iepriekš apstrādātajiem datiem tika veikta statistiskā analīze, un no datiem tika iegūta nozīmīga informācija, izmantojot K-tuvāko kaimiņu (KNN) mašīnmācīšanās algoritmu.

Turpmākajos pētījumos galvenā uzmanība tiks pievērsta mūsu metodes precizitātes uzlabošanai, izmantojot dziļas mācīšanās pieejas un optimizējot daudzkodolu procesoru kešatmiņu, lai atklātu un izvilktu runas signālus bez būtiska kvalitātes zuduma. Turklāt mēs plānojam izveidot spektrālās analīzes modeli, kura pamatā ir paralēla apstrāde ar spēcīgu analīzes veiktspēju, kas ļaus izveidot iegultas ierīces ar zemiem skaitļošanas resursiem, izmantojot Taris runas datu kopas [70] 3D CNN un 3D U-Net vidē [71– 75]

Atsauces

1. Mengs, JJ; Liu, WJ; Džans, RZ; Du, HS runas funkcijas parametru ekstrakcija un atpazīšana, pamatojoties uz interpolāciju. Appl. Meh. Mater. 2014, 602–605, 2118–2123. [CrossRef] 2. Musajevs, M.; Rakhimovs, M. Paātrināta apmācība konvolucionālajiem neironu tīkliem. In Proceedings of the 2020 International Conference on Information Science and Communications Technologies (ICISCT), Taškenta, Uzbekistāna, 2020. gada 4.–6. novembris; 1.–5.lpp. [CrossRef] 3. Ye, F.; Yang, J. Dziļa neironu tīkla modelis skaļruņu identifikācijai. Appl. Sci. 2021, 11, 3603. [CrossRef] 4. Musaev, M.; Rakhimovs, M. Galvenās atmiņas bloka kartēšanas metode kešatmiņai runas signāla paralēlajā apstrādē. In Proceedings of the 2019 International Conference on Information Science and Communications Technologies (ICISCT), Karači, Pakistāna, 2019. gada 9.–10. marts; 1.–4.lpp. [CrossRef] 5. Dzjans, N.; Liu, T. Uzlabots runas segmentācijas un klasterizācijas algoritms, kura pamatā ir SOM un k-means. Matemātika. Probl. Inž. 2020, 2020, 3608286. [CrossRef] 6. Hu, W.; Jans, Z.; Čens, C.; Saule, B.; Xie, Q. Vibrācijas segmentācijas pieeja ciparu vadības torņa daudzfunkciju sistēmai. Signāla attēla video process. 2021, 16, 489–496. [CrossRef]

7. Popesku, TD; Aiordachioaie, D. Ritošo elementu gultņu defektu noteikšana, izmantojot optimālu vibrācijas signālu segmentāciju. Meh. Sist. Signāla process. 2019, 116., 370.–391. [CrossRef] 8. Shihab, MSH; Aditja, S.; Setu, JH; Imtiaz-Ud-Din, KM; Efat, MIA Hibrīds GRU-CNN funkciju ekstrakcijas paņēmiens skaļruņu identifikācijai. Proceedings of the 2020 23rd International Conference on Computer and Information Technology (ICCIT), Daka, Bangladeša, 2020. gada 19.–21. decembris; 1.–6.lpp. [CrossRef] 9. Korkmaz, O.; Atasoy, A. Emociju atpazīšana no runas signāla, izmantojot mel-frekvences cepstrālos koeficientus. In Proceedings of the 9th International Conference on Electrical and Electronics Engineering (ELECO), Bursa, Turcija, 2015. gada 26.–28. novembris; 1254.–1257.lpp. 10. Ayvaz, U.; Gīlers, H.; Kāns, F.; Ahmeds, N.; Whangbo, T.; Abdusalomovs, A. Automātiskā skaļruņu atpazīšana, izmantojot Mel-frekvences cepstrālo koeficientus, izmantojot mašīnmācīšanos. CMC-Comput. Mater. Turpināt. 2022, 71, 5511–5521. 11. Al-Kaderi, M.; Lahamers, E.; Rad, A. Divu līmeņu skaļruņu identifikācijas sistēma, izmantojot neviendabīgu klasifikatoru saplūšanu un papildu funkciju sadarbību. Sensori 2021, 21, 5097. [CrossRef] 12. Batur Dinler, Ö.; Aydin, N. Optimāla funkciju parametru kopa, kas balstīta uz bloķētiem periodiskiem vienību atkārtotiem neironu tīkliem runas segmentu noteikšanai. Appl. Sci. 2020, 10, 1273. [CrossRef] 13. Kim, H.; Shin, JW Dual-Mic runas uzlabošana, pamatojoties uz TF-GSC ar noplūdes slāpēšanu un signāla atjaunošanu. Appl. Sci. 2021, 11, 2816. [CrossRef] 14. Lee, S.-J.; Kvons, H.-Y. Priekšapstrādes stratēģija runas datu trokšņa slāpēšanai, pamatojoties uz runas segmentu noteikšanu. Appl. Sci. 2020, 10, 7385. [CrossRef] 15. Rusnac, A.-L.; Grigore, O. CNN Arhitektūras un iezīmju ekstrakcijas metodes EEG iedomātas runas atpazīšanai. Sensors 2022, 22, 4679. [CrossRef] [PubMed] 16. Wafa, R.; Khan, MQ; Maliks, F.; Abdusalomovs, AB; Čo, YI; Odarčenko, R. Agile metodoloģijas ietekme uz projekta panākumiem ar personas darba piemērotības regulējošo lomu Pakistānas IT nozarē. Appl. Sci. 2022, 12, 10698. [CrossRef] 17. Aggarwal, A.; Šrivastava, A.; Agarvals, A.; Čahals, N.; Sings, D.; Alnuaim, AA; Alhadlaks, A.; Lī, H.-N. Divvirzienu funkciju ekstrakcija runas emociju atpazīšanai, izmantojot dziļo mācīšanos. Sensori 2022, 22, 2378. [CrossRef] [PubMed] 18. Marini, M.; Vanello, N.; Fanucci, L. No skaļruņiem atkarīgo funkciju ekstrakcijas parametru optimizēšana, lai uzlabotu automātiskās runas atpazīšanas veiktspēju cilvēkiem ar disartriju. Sensori 2021, 21, 6460. [CrossRef] 19. Tiwari, S.; Džeins, A.; Šarma, AK; Almustafa, KM Fonokardiogrammas signāliem balstīta vairāku klašu sirds diagnostikas lēmumu atbalsta sistēma. IEEE Access 2021, 9, 110710–110722. [CrossRef] 20. Mohtajs, S.; Šmits, V.; Möller, S. Uz funkciju ieguvi balstīts modelis naida runas identifikācijai. arXiv 2022, arXiv: 2201.04227. 21. Kuldošbajs, A.; Abdusalomovs, A.; Muhiddinovs, M.; Baratovs, N.; Makhmudovs, F.; Cho, YI CNN izmantoto ultraskaņas attēlu automātiskās klasifikācijas metodes uzlabojums. Int. J. Wavelets Multiresolution Inf. Process. 2022, 20, 2150054. 22. Passricha, V.; Aggarwal, RK Dziļās CNN un divvirzienu LSTM hibrīds automātiskai runas atpazīšanai. J. Intell. Sist. 2020, 29, 1261–1274. [CrossRef] 23. Mukhamadijevs, A.; Hudžajarovs, I.; Djurajevs, O.; Cho, J. Automātiskās runas atpazīšanas metode, kuras pamatā ir uzbeku valodas padziļinātas mācīšanās pieejas. Sensori 2022, 22, 3683. [CrossRef] [PubMed] 24. Li, F.; Liu, M.; Džao, Y.; Kongs, L.; Dongs, L.; Liu, X.; Hui, M. Sirds skaņas pazīmju ieguve un klasifikācija, izmantojot 1D konvolucionālos neironu tīklus. EURASIP J. Adv. Signāla process. 2019, 2019, 59. [CrossRef] 25. Chang, L.-C.; Hungs, J.-W. Sākotnējais pētījums par robustas runas iezīmju izvilkšanu, pamatojoties uz stāvokļu iespējamības maksimizāciju dziļās akustiskās modeļos. Appl. Sist. Innov. 2022, 5, 71. [CrossRef] 26. Ramírez, J.; Góris, JM; Segura, JC balss aktivitātes noteikšana. Pamati un runas atpazīšanas sistēmas izturība. Spēcīga runas atpazīšana un izpratne; Grimm, M., Kroschel, K., Eds.; I-TECH izglītība un izdevējdarbība: Londona, Lielbritānija, 2007; 1.–22.lpp. 27. Ak, S. DNN balstīta robusta runas funkciju ekstrakcijas un signāla trokšņu noņemšanas metode, izmantojot uzlabotas vidējās prognozēšanas LMS filtru runas atpazīšanai. J. Converg. Inf. Tehn. 2021, 11, 1.–6. [CrossRef] 28. Abbaschian, BJ; Sjerra-Sosa, D.; Elmaghraby, A. Padziļinātas mācīšanās metodes runas emociju atpazīšanai, no datu bāzēm līdz modeļiem. Sensori 2021, 21, 1249. [CrossRef] 29. Rakhimovs, M.; Mamadjanovs, D.; Mukhiddinovs, A. Augstas veiktspējas paralēlā pieeja attēlu apstrādei sadalītajā skaitļošanā. In Proceedings of the 2020 IEEE 14th International Conference on Application of Information and Communication Technologies (AICT), Uzbekistāna, Taškenta, 2020. gada 7.–9. oktobris; 1.–5.lpp. [CrossRef] 30. Abdusalomovs, A.; Muhiddinovs, M.; Djurajevs, O.; Khamdamovs, U.; Whangbo, TK Automātiskā ievērojamo objektu ieguve, pamatojoties uz lokāli adaptīvu slieksni, lai ģenerētu taustes grafiku. Appl. Sci. 2020, 10, 3350. [CrossRef] 31. Abdusalomovs, A.; Whangbo, TK Uzlabojums priekšplāna atpazīšanas metodei, izmantojot ēnu noņemšanas tehniku ​​iekštelpu vidē. Int. J. Wavelets Multiresolution Inf. Process. 2017, 15, 1750039. [CrossRef] 32. Abdusalomovs, A.; Whangbo, TK Kustīgu objektu ēnu noteikšana un noņemšana, izmantojot ģeometrijas un krāsu informāciju iekštelpu video straumēm. Appl. Sci. 2019, 9, 5165. [CrossRef] 33. Mery, D. Computer Vision for X-ray Testing; Springer International Publishing: Cham, Šveice, 2015; lpp. 271, ISBN 978-3319207469. 34. Mark, S. Runas attēli pārkalibrē runas uztveres robežas. Pievērsiet uzmanību. Uztvere. Psiholoģija. 2016, 78, 1496–1511. [CrossRef] 35. Mudgal, E.; Mukuntharadžs, S.; Modaka, MU; Rao, YS uz veidnēm balstīta reāllaika runas atpazīšana, izmantojot digitālos filtrus uz DSP-TMS320F28335. In Proceedings of the 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA), Pune, Indija, 2018. gada 16.–18. augusts; 1.–6.lpp. [CrossRef]