Jauna telpiskā un laika nepārtraukta zīmju valodas atpazīšana, izmantojot uzmanīgu daudzfunkciju tīklu (1)

Abstrakts: ņemot vērā video straumes, mūsu mērķis ir pareizi noteikt nesegmentētas zīmes, kas saistītas ar nepārtrauktu zīmju valodas atpazīšanu (CSLR). Neskatoties uz ierosināto dziļās mācīšanās metožu pieaugumu šajā jomā, lielākā daļa no tām galvenokārt koncentrējas uz tikai RGB funkcijas izmantošanu, vai nu pilnrāmja attēlu vai roku un sejas detaļas. Informācijas trūkums CSLR apmācības procesam ļoti ierobežo spēju apgūt vairākas funkcijas, izmantojot video ievades kadrus. Turklāt visu video kadru izmantošana CSLR uzdevumam var radīt neoptimālu veiktspēju, jo katrs kadrs satur atšķirīgu informācijas līmeni, tostarp galvenās funkcijas trokšņa izsecināšanā. Tāpēc mēs piedāvājam jaunu telpisko un nepārtrauktu zīmju valodas atpazīšanu, izmantojot uzmanīgu daudzfunkciju tīklu, lai uzlabotu CSLR, nodrošinot papildu atslēgas punktu funkcijas. Turklāt mēs izmantojam uzmanības slāni telpiskajos un laika moduļos, lai vienlaikus uzsvērtu vairākas svarīgas funkcijas. Eksperimentālie rezultāti no abām CSLR datu kopām parāda, ka piedāvātā metode nodrošina labāku veiktspēju, salīdzinot ar pašreizējām modernākajām metodēm, attiecīgi par 0.76 un 20.56 WER rādītājam CSL un PHOENIX datu kopās.

Supermena garšaugu cistanche

Atslēgvārdi: nepārtraukta zīmju valoda; telpiskais; īslaicīgs; daudzfunkciju; galvenie punkti; sevis uzmanība

1. Ievads

Zīmju valoda saziņai dod priekšroku manuālai saziņai, izmantojot roku žestus, ķermeņa valodu un lūpu kustības, nevis skaņas [1, 2]. Parasti zīmju valodu lieto nedzirdīgi vai vājdzirdīgi cilvēki, taču to var lietot arī situācijās, kad skaņas sadzirdēt nav iespējams vai grūti. Tāpēc ir nepieciešama zīmju valodas atpazīšanas (SLR) sistēma, jo tā palīdz savienot vājdzirdīgos un nedzirdīgos.

Pēdējos gados pētnieki ir pievērsuši lielu uzmanību spoguļkamerai, jo tā sniedz bagātīgu vizuālo informāciju. Jaunākie SLR pētījumi parasti tiek grupēti izolētās zīmju valodas atpazīšanā (ISLR) vai nepārtrauktā zīmju valodas atpazīšanā (CSLR). Vairāki darbi attiecas tikai uz ISLR [3,4], savukārt citi analizē tikai vieglākus uzdevumus, piemēram, statiskus žestus alfabēta atpazīšanai [5]. Tikmēr jaunākās metodes parasti ir sarežģītākas, jo tās risina CSLR uzdevumus [6–8]. Salīdzinot ar ISLR, CSLR ir sarežģītāka problēma, jo tā ietver teikumu rekonstrukciju.

Cistanche tēja

Noklikšķiniet šeit, lai skatītu Cistanche deserticola tējas produktus

【Jautājiet vairāk】 E-pasts:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

CSLR pētījumi joprojām ir ļoti pieprasīti, jo to īstenošana ir cieši saistīta ar ikdienas apstākļiem reālajā pasaulē. Šīs pieejas mērķis ir atpazīt spīdumu sērijas, kas parādās video sērijā bez skaidras segmentācijas vai pat vispār. Turklāt tas ietver lielu mašīnmācības pētījumu un pilnīgu izpratni par cilvēka uzvedību. Piemēram, tas ietver cilvēka kustību izsekošanu [9], žestu atpazīšanu [10] un sejas atpazīšanu [11]. Tomēr, veicot CSLR uzdevumus, ir vairākas problēmas.

Pirmkārt, datu vākšana un anotēšana CSLR ir dārga [12]. Tas, iespējams, ir viens no izaicinājumiem, ar ko saskaras tā izstrāde, jo CSLR ir iesaistīts lielā tīklā un datu apjoms spēcīgi ietekmē veiktspēju [13]. Turklāt vairākas pieejamās datu kopas zīmju valodai ir vāji anotētas [12,14,15]. Lai atrisinātu šo problēmu, daudzos pētījumos ir izmantota vāji uzraudzīta pieeja, kā arī izlīdzināšanas un funkciju ieguves moduļa izmantošana tīkla arhitektūrā [12].

Otrkārt, salīdzinot ar ISLR, CSLR ir sarežģītāka. Pietiekama informācija tiek iegūta, izmantojot vairākas funkcijas; Ir pierādīts, ka tas nodrošina labāku veiktspēju nekā vienas funkcijas izmantošana, kā ziņots iepriekšējos darbos [16–18]. Šīs vairākas funkcijas sastāv no galvenās iezīmes, kas ir ķermeņa attēls, kas nodrošina visaugstāko precizitāti, un papildu funkcijas, piemēram, poza, galva, kreisā roka un labā roka, kam ir zemāka precizitāte individuālai veiktspējai [17,18]. Liela tīkla apmācība ar lielu datu apjomu ir laikietilpīga [13]. Ievades straumes pievienošana arī palielina apmācības laiku, savukārt papildu uz attēlu balstītu funkciju izmantošana palielina izmaksas [19]. Tāpēc mums ir jāizvēlas svarīgas funkcijas, lai mēs varētu efektīvi trenēties.

Ķīniešu garšaugu cistanche

Treškārt, video ievadei ir liels skaits attēlu secībā. Dažiem attēliem ir neskaidra rokas forma ātras kustības dēļ, kas, iespējams, rada nepareizu informāciju. Tāpēc mūsu piedāvātajā modelī tiek izmantota pašapziņa, pamatojoties uz [20], lai palīdzētu atlasīt svarīgu informāciju. Turklāt [21,22] pierādītā uzmanība uz sevi ietekmē veiktspējas uzlabošanos.

Tāpēc mēs piedāvājam jaunu modeli, ko sauc par jaunu spatiotemporal attentive multi-funkciju (STAMF), lai risinātu visas problēmas. Mēs sekojām iepriekšējiem darbiem [17,23], kuri ir pierādījuši, ka tie darbojas CSLR ar vājām anotācijas problēmām. Viņi veido modeli, izmantojot trīs galvenās sastāvdaļas: pirmais ir telpiskais modulis, otrais ir laika modulis un trešais ir secības mācību modulis. Mēs piedāvājam efektīvu un iedarbīgu vairāku funkciju ievadi, izmantojot pilna kadra funkciju, kā arī atslēgas punkta funkcijas, lai veiktu CSLR uzdevumus. Pilna kadra funkcija attēlo ķermeņa attēlu kā galveno līdzekli, bet atslēgas punkta funkcijas kā papildu līdzekli. Galvenā iezīme ir ķermeņa poza, ieskaitot rokas pozas detaļas. Šī ķermeņa poza ir visefektīvākā papildu funkcija, jo dažos darbos ir pierādīts, ka tā sasniedz visaugstāko precizitāti pēc pilna kadra funkcijas [17,18]. Mēs izmantojam arī uzmanības moduli, kurā tiek izmantota pašapziņa, pamatojoties uz [20], lai uztvertu svarīgo funkciju un palīdzētu secības apguvei uzlabot veiktspēju.

Šī manuskripta ieguldījums ir apkopots šādi: • Mēs ieviešam jaunu laika uzmanību secības modulī, lai fiksētu svarīgos laika punktus, kas veicina gala rezultātu; • Mēs ieviešam daudzfunkciju, kas sastāv no pilna kadra funkcijas no kadra RGB vērtības kā galvenās funkcijas un galvenās funkcijas, kas ietver ķermeņa pozu ar rokas formas detaļām kā papildu līdzekli, lai uzlabotu modeļa atpazīšanas veiktspēju; • Mēs izmantojam WER metriku, lai parādītu, ka mūsu piedāvātais STAMF modelis eksperimentos pārspēj jaunākos modeļus abās CSLR etalondatu kopās.

Cistanche papildinājums netālu no manis-Uzlabo atmiņu

2. Saistītie darbi

Tehnoloģijā ir veikti vairāki sasniegumi, un par spoguļkamerām ir veikts daudz pētījumu. Iepriekšējie pētījumi [24–27] pētīja iespēju izmantot ISLR, kurā katram vārdam ir segmentācija. Pēdējos gados ir izmantotas padziļinātas mācīšanās metodes, lai iegūtu funkcijas, izmantojot konvolucionālos tīklus, vai nu 2D [28, 29] vai 3D [30, 31], lai nodrošinātu to spēcīgu vizuālo attēlojumu. Lielākā daļa agrīno pētījumu par zīmju valodas atpazīšanu koncentrējās uz ISLR ar multimodāliem raksturlielumiem [30–32], piemēram, RGB, dziļuma kartēm un skeletiem, kas nodrošina labāku veiktspēju.

Mūsdienās CSLR ir kļuvis populārāks, lai gan tas nav skaidri segmentēts starp katru vārdu. Pirmajos darbos secības mērķa izveidošanai tiek izmantots CNN funkciju ekstraktors [6,33] un HMM [34]. Daži jaunākie pētījumi par CSLR sistēmām [17,23] ir iekļāvuši trīs galvenos soļus problēmu atpazīšanas uzdevuma veikšanā. Pirmkārt, viņi veica telpisko iezīmju ieguvi, pēc tam laika segmentāciju un visbeidzot teikuma sintēzi ar valodas modeli [35], vai arī izmantoja secību mācīšanos [17, 23]. Šī secību apguve izmantoja Bi-LSTM un CTC, lai noteiktu saistību starp zīmju spīdumu video sekvencēs. Lai gan tajā tiek izmantota vāja anotācija, kurā ir nesegmentētas video sekvences, lai definētu zīmju spīdumus, šīs pieejas ir parādījušas daudzsološus rezultātus.

Tomēr jaunākajā saistītajā CLSR pētījumā, kurā tika ieviesta vairāku funkciju pieeja [17], vienlaikus tika izmantotas piecas funkcijas. Daudzfunkciju pieeja ir smagāka, salīdzinot ar mazāku funkciju izmantošanu [19]. Šī pieeja nevar apstrādāt arī trokšņainos kadrus no video secības, kuriem ir neskaidra informācija, piemēram, izplūdusi rokas forma ātras kustības dēļ. Turklāt, paļaujoties uz RNN balstītu secību mācīšanos, var rasties problēmas ar garām sekvencēm un var tikt zaudēts globālais konteksts [20].

Cistanche papildinājums netālu no manis-Uzlabo atmiņu

Pašreizējā pētījuma mērķis ir uzlabot veiktspēju, pievienojot sevis uzmanības mehānismu [21, 22], kas var apstrādāt garākas secības, lai uzzinātu globālo kontekstu. Uzmanība sev ir balstīta uz agrīniem pētījumiem [20], kas parādīja, ka uzmanības pievēršanai sev ir tā priekšrocība, ka tā spēj tikt galā ar ilgstošām atkarībām. Tomēr ar šo sevis uzmanību ir vieglāk apgūt īsāku ceļu, salīdzinot ar garāku ceļu ar garām atkarībām. Iepriekšējos CLSR darbos [21,22] pašapziņa varētu palīdzēt tīklam efektīvāk apgūt šo funkciju.

Tāpēc šajā rakstā mēs iepazīstinām ar jaunu telpisko un uzmanīgu daudzfunkciju modeli. Šis ierosinātais modelis efektīvi iegūst svarīgās funkcijas un labāk apgūst secību, sniedzot svarīgu informāciju, izmantojot vairāku funkciju pašapziņas mehānismu. Visi procesi tiek izpildīti no gala līdz galam.

3. Piedāvātā metode

Šajā sadaļā ir aprakstītas mūsu piedāvātā CSLR modeļa galvenās metodes. Tāpēc mēs sākam šo sadaļu, izskaidrojot mūsu piedāvātā modeļa pārskatu. Turklāt mēs sniedzam sīkāku informāciju par katru galveno komponentu, tostarp telpisko moduli, laika moduli un secības mācību moduli. Turklāt mēs arī izskaidrojam mūsu piedāvāto uzmanības moduli, lai palīdzētu modelim labāk mācīties. Visbeidzot, mēs varam integrēt apmācību un secinājumu sistēmu mūsu piedāvātajā modelī.

3.1. Ietvara pārskats

Ņemot vērā video ievadi, mūsu piedāvātā modeļa mērķis ir paredzēt atbilstošo zīmi pareizā spīduma teikumā. Pirmais modulis ģenerē vairākas telpiskās funkcijas, piemēram, pilna kadra un atslēgas punkta funkcijas katram video T kadram. Pēc tam laika modulis ļauj mums iegūt telpisko iezīmju laika korelācijas starp abu straumju kadriem. Kā pēdējais solis telpiskie un laika tīkli ir saistīti ar divvirzienu ilgtermiņa īstermiņa atmiņu (Bi-LSTM) un CTC secību apguvei un secinājumu izdarīšanai. Tālāk mēs detalizētāk un secīgi izskaidrojam mūsu galvenās sastāvdaļas. Mūsu piedāvātās arhitektūras pārskats ir parādīts 1. attēlā.

1. attēls. Piedāvātās metodes vispārējā arhitektūra sastāv no trim komponentiem: telpiskā moduļa, laika moduļa un secības mācīšanās moduļa. Telpiskais modulis vispirms ņem attēlu secību, lai izvilktu kadra iezīmes, un pēc tam lieto laika moduli, lai izvilktu laika elementus. Pēc tam laika iezīmes tiek nosūtītas uz secības mācīšanās moduli, lai veiktu vārdu paredzēšanu un izveidotu to teikumā

3.2. Telpiskais modulis

Telpiskais modulis izmanto pilna kadra funkciju un atslēgas punkta līdzekļus, kā parādīts 2. attēlā. Šis modulis izmanto 2D-CNN tīkla arhitektūru kā mugurkaulu, un ResNet50 ir izvēlēts, lai uztvertu vairākas funkcijas. ResNet50 ir efektīvāks izmantošanai salīdzinājumā ar jaunāko ResNet arhitektūru laika ziņā, vienlaikus nodrošinot salīdzināmu rezultātu [36, 37]. RGB tieši izmanto ResNet50, savukārt atslēgas punktu iegūst HRNet [38] no video kadra, un tas tiek iegūts, izmantojot ResNet50, lai iegūtu atslēgas punkta funkcijas.

2. attēls. Telpiskā moduļa arhitektūra izmanto vairāku plūsmu ievadi. RGB straume kā pilna kadra funkcija un atslēgas punktu straume kā atslēgas punkta funkcija.

3.2.1. Pilna kadra funkcija

Mēs piemērojām RGB datu pirmapstrādes darbības un pēc tam ievadījām savus datus modelī. Pēc tam mēs tos ievietojām kā pilna kadra ievadi mūsu arhitektūrā. 3. attēlā ir parādīta sākotnējā RGB attēla ilustrācija kreisajā pusē un apgrieztais attēls labajā pusē. Apgriezto attēlu modelis izmanto kā ievadi. Tas ilustrē priekšapstrādes darbību, kas samazina mazāk svarīgās attēla daļas un vairāk koncentrējas uz parakstītāju. Šī apgriešana izmanto nejaušas apgriešanas metodi no [12], lai papildinātu datu kopu. Pilnkadra funkcija tiek iegūta no apgrieztā attēla katram secības kadram, izmantojot ResNet50.

3. attēls. Pilna kadra funkcija, izmantojot RGB attēlu, (kreisais attēls) ir sākotnējais attēls, un (attēls labais) ir apgrieztais attēls, ko pielāgot piedāvātajam modelim.

3.2.2. Keypoint funkcijas

Mēs izvilkām atslēgas punkta funkcijas telpiskajā modulī no RGB datiem katram video ievades kadram. Atslēgpunktu funkciju kvalitātei ir svarīga loma mūsu piedāvātajā modelī, tāpēc mums ir jāizmanto spēcīga pieeja, piemēram, HRNet [38]. Mēs izmantojām iepriekš apmācītu HRNet [38], lai novērtētu visus 133 ķermeņa galvenos punktus, un mēs izmantojām 27 no 133 galvenajiem punktiem no tā rezultāta. Kā parādīts 4. attēlā, kreisajā pusē ir oriģinālais ķermeņa augšdaļas atslēgas punkts, bet labajā pusē ir atlasītie 27 ķermeņa augšdaļas taustiņi. Šie 27 galvenie punkti ietver plaukstas, elkoņus, plecus, kaklu, rokas un pirkstus.

4. attēls. PHOENIX-RWTH datu kopas [33,39] galveno punktu iezīmes, (kreisais attēls) izvilkšana no RGB attēla, un (attēls labajā pusē) ir izvēlētais atslēgas punkts, ko izmanto piedāvātais modelis.

3.3. Pagaidu modulis

Laika moduļa mērķis ir apgūt spatiotemporālo informāciju no telpiskā moduļa. Laika moduļi katrai straumei tiek konstruēti, izmantojot stacked Temporal Pooling. Kā parādīts 5. attēlā, pagaidu apvienošanas modulis sastāv no temporālās konvolūcijas slāņa un apvienošanas slāņa, lai iegūtu funkcijas no secīgām ievadēm.

5. attēls. Temporālā moduļa arhitektūra sastāv no stacked 1D-CNN un apvienošanas slāņa, kas iegults ar uzmanības moduli. Strādājiet paralēli abām objektu plūsmām, kas savienotas slāņu beigās, un izveidojiet vienu laika objektu ar četras reizes mazāku secības garumu.

Ievade ir iepriekšējā posma telpisko daudzfunkciju saraksts. Laika iezīme tiek iegūta, izmantojot laika konvolūcijas slāni, kas ir viens 1D konvolūcijas slānis ar vienādu ievades un izvades garumu, kam seko viens apvienošanas slānis, kas samazina izmēru līdz pusei. Saskaņā ar iepriekšējiem darbiem vislabākā konfigurācija ir šo divu stacked temporal pooling slāņu izmantošana [12]. Pēc katras laika apvienošanas mēs iegulsim uzmanības moduli, kas tiks detalizēti izskaidrots 3.4. sadaļā. Galu galā mēs savienojam abu straumju temporālās apvienošanas izvadi.

3.4. Uzmanības modulis

Videoklipam ir vairāki kadri, kuros dažas attēla daļas dažreiz ir izplūdušas. RTWH-PHOENIX datu kopai [33,39] ir vairāk bojātu kadru nekā CSL datu kopai [8,40,41]. Tas notiek, ja kustība ir pārāk ātra, radot izplūdušu attēlu un radot nepareizu atslēgas punkta atrašanās vietu. Šis rāmis tiek uzskatīts par bojātu, un tas var izraisīt gan RGB, gan atslēgas punkta funkciju nepareizu interpretāciju. 6. attēlā parādīts defektīvu kadru attēls RTWH-PHOENIX datu kopā [33]. Lai risinātu šo problēmu, mēs pievienojām uzmanības slāni.

6. attēls. RWTH-PHOENIX datu kopas defektu kadru ilustrācija [33,39]. Daži no galvenajiem punktiem roku zonā atrodas nepareizā pozīcijā izplūdušo attēlu dēļ.

Izmantojot CTC algoritmu, ceļa izlīdzināšana kopā ar tā marķējumu tiek veikta, izmantojot tukšu etiķeti un noņemot atkārtotās etiķetes. CTC dod priekšroku tukšu uzlīmju prognozēšanai, nevis spīduma robežām, ja tā nevar atšķirt spīduma robežu, taču neviens no rezultātiem nav pārliecinošs. Tas liek tīklam izmantot CTC, lai radītu straujus rezultātus, analizējot, mācoties un prognozējot [42, 43]. Parasti CTC zudums meklē atslēgkadrus, un pēdējais rezultāts ir konkrēta atslēgkadra prognoze, kam ir liela varbūtība, ka tas ir tukšs vai netukšs apzīmējums. Ja spīdums paredz vienu un to pašu etiķeti vai tukšu etiķeti pēc kārtas, tiek iegūta tāda pati izvade. Tomēr, ja starp vienu un to pašu etiķeti ir ievietošanas etiķete, pat ja ir tikai viena kļūda, tas rada daudz lielākus zaudējumus. Šeit uzmanības slāņa pievienošana palīdz atlasīt svarīgo laika secību, pirms to izmanto secīgai apmācībai.

Uzmanības modulī tiek izmantots vairāku galvu pašatvēršanas mehānisms [20]. Daudzgalvu modulis tiek izmantots, lai vienlaikus darbinātu vairākus paralēlus uzmanības mehānismus. Vairāku galvu uzmanība darbojas neatkarīgi, lai koncentrētos uz īstermiņa atkarībām vai ilgtermiņa atkarībām atsevišķā galvā. Pēc tam katra izvade tiek lineāri savienota un pārveidota vēlamajā formā.

Vienlaikus daudzgalvu pašapziņas mehānisms rūpējas par informāciju no vairākām reprezentācijas apakštelpām atkarībā no novērojumu vēstures. Vienkāršības labad ievades secības tiek apzīmētas kā X. Matemātiski vienas galvas uzmanības modelim ir dota ievade X t − T plus 1:t=[X t − T plus 1, · · ·, X t ] ∈ RT × N × P, tiek iegūtas trīs apakštelpas, proti, vaicājuma apakštelpa Q ∈ RN ×dq, atslēgas apakštelpa K ∈ RN × dk un vērtību apakštelpa V ∈ RN × dv. Latento apakštelpas mācību procesu var formulēt šādi [20]:

Q=XWQ, K =} XWK , V =} XWV ,

Pēc tam mērogotā punkta produkta uzmanība tiek izmantota, lai aprēķinātu uzmanības izvadi kā [20]:

Uzmanību (Q, K, V)=tātad f tmaxQKT/ p dkV,

Turklāt, ja mums ir vairākas galviņas, kas vienlaikus seko vairākiem ievades attēlojumiem, mēs varam iegūt atbilstošākus rezultātus vienlaikus. Pēdējais solis ir visu galviņu savienošana un projicēšana vēlreiz, lai aprēķinātu galīgo punktu skaitu [20]:

MultiHead(Q,K,V)=Concat(galva1,... , galvas )WO,

galva=Uzmanību (Qi, Ki, Vi),

kur Qi=XWQ i , Ki=XWVi un WO ∈ R hd × dmodelis. Visbeidzot, tā var atlasīt svarīgo daļu no funkciju secības, jo ne visa secībā esošā informācija ir svarīga.

Kā parādīts 7. attēlā, mēs izmantojam uzmanības moduli vairākās konfigurācijās. Pirmais uzmanības modulis ir novietots telpiskā moduļa galā, bet otrais un trešais uzmanības modulis ir ievietots temporālajā modulī. Otrais uzmanības modulis, ko sauc par agrīno laika moduli, tiek ievietots pēc pirmā laika apvienošanas bloka kā ievade, savukārt trešais laika uzmanības modulis, ko sauc par vēlīnās laika uzmanības moduli, tiek novietots pēc otrā laika apvienošanas bloka.

7. attēls. Uzmanības moduļi ir iegulti telpiskajos un laika moduļos dažādās konfigurācijās.