Ceļa zīmju atpazīšana, pamatojoties uz YOLOv3 algoritma 3. daļu

3.3. Priori rāmju ģenerēšana, pamatojoties uz K-Means klasterizācijas algoritmu

Enkura mehānisms tika ieviests YOLOv2, un YOLOv3 enkuru skaits tika palielināts līdz deviņiem, lai padarītu ģenerētos kandidātreģionus līdzīgākus oriģinālajiem marķētajiem kadriem un palielinātu noteikšanas tīkla atsaukšanu.

Pastāv cieša saistība starp atzīmētajiem kadriem un atmiņu. Rāmju atzīmēšana var palīdzēt mums izveidot fiksētu, regulāru un sakārtotu atmiņas ietvaru, atvieglojot liela apjoma informācijas iegaumēšanu. Piemēram, apgūstot valodu, mēs varam izmantot iezīmētos rāmjus, lai iegaumētu jaunus vārdus un gramatikas noteikumus. Pārskatot vēsturi, mēs varam izmantot atzīmētos kadrus, lai iegaumētu vēsturiskos notikumus un laika grafikus. Tādā veidā mēs varam padarīt abstraktās zināšanas konkrētākas un saprotamākas.

Tajā pašā laikā marķēšanas rāmji var arī stimulēt mūsu smadzeņu asociatīvās spējas, tādējādi uzlabojot atmiņu. Tā kā mūsu atmiņa balstās uz asociāciju un saikni, izveidojot iezīmētus rāmjus, mēs varam dabiskāk saistīt jaunas zināšanas ar esošajām zināšanām, padziļinot atmiņu un izpratni.

Cilvēka atmiņas spējas var trenēt un uzlabot. Pastāvīgi praktizējot un izmantojot atmiņas metodes, piemēram, kadru atzīmēšanu, mēs varam uzlabot savu atmiņu un labāk tikt galā ar sarežģītu informāciju un uzdevumiem dzīvē un darbā.

Īsāk sakot, kadru marķēšana ir ļoti efektīvs atmiņas paņēmiens. Tas var palīdzēt mums ātrāk un precīzāk atcerēties svarīgu informāciju. Tas var arī stimulēt mūsu asociatīvās spējas un uzlabot atmiņu. Ļaujiet mums aktīvi izmantot iezīmētos kadrus, lai nepārtraukti uzlabotu savas atmiņas prasmes! Var redzēt, ka mums ir jāuzlabo atmiņa, un Cistanche deserticola var ievērojami uzlabot atmiņu, jo Cistanche deserticola ir tradicionāls ķīniešu ārstniecības materiāls, kam ir daudz unikālu efektu, no kuriem viens ir atmiņas uzlabošana. Maltās gaļas iedarbīgumu nodrošina dažādas tajā esošās aktīvās sastāvdaļas, tostarp skābe, polisaharīdi, flavonoīdi utt. Šīs sastāvdaļas var dažādos veidos veicināt smadzeņu veselību.

Noklikšķiniet uz Zināt, lai uzlabotu īstermiņa atmiņu

Nebija pareizi izmantot sākotnējo enkuru, jo ceļa zīmes galvenokārt ir mazi un vidēji mērķi, bet TT100K datu kopā ir mazāk lielu mērķu. Konkrētai datu kopai piemērota sākotnējā enkura izvēle var uzlabot noteikšanas efektu, atvieglot tīkla apgūšanu un palielināt ierobežojošā lodziņa noteikšanas ātrumu.

K-vidējo klasterizācijas algoritma plūsma kandidātlodziņu iegūšanai ir parādīta 7. attēlā.

TT100K datu kopā uzlabotā YOLOv3 tīkla struktūra ietvēra funkciju prognozēšanas skalu, kā rezultātā tika izveidotas četras skalas un divpadsmit enkuri: (4, 5), (5, 6), (7, 7), (7, 13), (8, 8), (9, 10), (11, 12), (13, 14), (16, 17), (20, 22), (27, 29) un (41, 44).

4. Eksperimenti un rezultātu analīze

4.1. Datu kopa un novērtēšanas rādītāji

Ir dažas lielas, publiski pieejamas ceļa zīmju datu kopas, no kurām lielākā daļa izmanto GTSDB, taču GTSDB nav tas pats, kas Ķīnas ceļa zīmes. CTSDB, CCTSDB un TT100K, cita starpā, ir Ķīnas ceļa zīmju datu kopas.

CCTSDB tika paplašināts, pamatojoties uz CTSDB, un tās kategorijas tika sadalītas brīdinājuma zīmēs, virziena zīmēs un aizlieguma zīmēs, bez detalizētas ceļa zīmju klasifikācijas.

TT100K satiksmes zīmju kolekcija tika izveidota, sadarbojoties Tencent un Tsinghua University. Tas piedāvāja rūpīgu ceļa zīmju kategorizēšanu un identificēšanu, aptver dažādus klimatiskos un apgaismojuma apstākļus un bija precīzāks faktiskajām braukšanas situācijām.

Tāpēc šajā rakstā tika izmantota TT100K ceļa zīmju datu kopa, un dažas no ceļa zīmēm un kategoriju informācija ir parādītas 8. attēlā.

TT100K datu kopā ir 100,{2}} fotoattēli ar 2048 x 2048 pikseļu izšķirtspēju, lai gan ir bezmarķētu ceļa zīmju attēli, un dažās kategorijās ir tikai daži attēli vai attēlu dublikāti, tādējādi samazinot noteikšanas efektu.

Tāpēc šajā rakstā no datu kopas tika izņemti nemarķētie un dublētie ceļa zīmju attēli un atlasītas 45 kategorijas ar lielu ceļa zīmju skaitu, kur 45 ceļazīmju kategorijas bija: pn, pne, i5, pll, pl40, po,pl50, pl80. , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5, w59, p12, p3, w55. pm20, pl20, pg, pl70, pm55, il100, p27, w13, p19, ph4, ph5, wo, p6.pm30 un w32, un katras ceļa zīmju kategorijas numurs ir parādīts 9. attēlā.

9. attēlā parādīts, ka pat tad, ja tika izvēlētas 45 kategorijas ar lielu skaitu ceļa zīmju, joprojām bija ievērojama datu apjoma nelīdzsvarotība starp katru kategoriju, kā rezultātā modeļa prognozēšanas precizitāte bija slikta. Rezultātā, kā parādīts 10. attēlā, šis darbs līdzsvaroja un paplašināja datu kopu, izmantojot tādas taktikas kā krāsu izkliedēšana, Gausa troksnis un attēla pagriešana, lai nodrošinātu, ka katras kategorijas apjoms ir pēc iespējas vienāds.

Mosaic pieeja vienlaikus nolasa četrus attēlus, mērogo un maina katra attēla krāsu gammu, sakārto tos četros virzienos un pēc tam savieno attēlus, lai izveidotu mērķa patieso kadru.

Uzlabošanas metode savieno četrus attēlus, kas ir līdzvērtīgi četru attēlu parametru aprēķināšanai ar vienu ievadi. Tas var samazināt attēlu skaitu pakešu ievadei, samazināt apmācības grūtības un apmācības izmaksas, uzlabot apmācības ātrumu un lielā mērā bagātināt paraugu skaitu datu kopā, kas veicina mācīšanos.

Šajā rakstā modeļa veiktspējas novērtēšanai tika izmantoti COCO datu kopas novērtēšanas rādītāji, tostarp mAPou - 050AP, APM, AP un vairāki citi rādītāji. Jo īpaši lielākā daļa ceļa zīmju TT100K ceļa zīmju datu kopā piederēja maziem mērķiem, tāpēc īpaša uzmanība bija jāpievērš mazu mērķu noteikšanas precizitātei. Novērtēšanas metrikas īpašās nozīmes ir šādas:

AP: laukums zem PR līknes, kur PR ir attiecīgi precizitāte un atsaukšana:

API {{0}}.50: ja IoU slieksnis ir iestatīts uz 0,50, tas ir vidējais rādītājs no visām AP kategorijām datu kopā, kas ir PASCAL GOS datu kopas novērtējuma indekss un atbilst uz APIoU=0.50 COCO novērtējuma indeksāAPloU= 0.50: ja loU slieksnis ir iestatīts uz 0,50, tas ir visu AP kategoriju vidējais rādītājs datu kopā, kas ir novērtējuma indekss PASCAL GOS datu kopu un atbilst APloU=0.5 COCO novērtējuma indeksā.

AP: vidējā MAP vērtība maziem objektiem: laukums < 322, un loU=diapazons (0.5, 1.00, 0.05) kopā no 10 oUs.

APm: vidēji objekti: 322 < apgabals < 962 un loU=diapazons (0.5, 1.00, 0.05) vidējā mAP vērtība a. kopā 10 IoU.

AP: vidējā MAP vērtība lieliem objektiem: laukums > 962 un loU=diapazons (0.5, 1.00, 0.05 kopā 10 IoUs.

4.2. Eksperimentālie rezultāti un analīze

4.2.1. Uzlabots YOLOv3 salīdzināšanas eksperiments

Šajā pētījumā tika salīdzināti un pārbaudīti trīs YOLOv3 tīkli ar uzlabotām metodēm, izmantojot TT100K satiksmes zīmju datu kopu un ievades attēlus, kuru izmērs bija 608 × 608 pikseļi. 11. attēlā ir parādīta TT100 datu kopā apmācītā M-YOLOv3 karte un AR.

Noteikšanas rezultāti dažāda lieluma mērķiem ir parādīti 12. attēlā un 1. tabulā. Tostarp YOLOv3-DK pieņēma stratēģiju, lai uzlabotu zaudējumu funkcijas DIoU zudumu un atkārtotas klasterizācijas enkuru; YOLOv3-SPP pieņēma piramīdas apvienošanas struktūras saplūšanas telpas stratēģiju; YOLOv3-4l pieņēma stratēģiju, pievienojot ceturto prognozēšanas funkciju slāni ar 152 × 152 skalām; un M-YOLOv3 bija YOLOv3 tīkla struktūra, izmantojot visas uzlabotās stratēģijas.

1. tabulā un 12. attēlā parādīts, ka sākotnējā YOLOv3 vidējā vidējā precizitāte, neizmantojot nekādas stratēģijas, bija 68,9%. Turpretim jauninātā YOLOv3 karte ar visām metodēm bija 77,3%, noteikšanas uzlabojums par 8,4%.

DIoU zuduma funkcija un atkārtotas klasterizācijas enkura tehnika uzlaboja noteikšanas precizitāti par 1,3%; tomēr uzlabojums bija saistīts ar ātrāku zaudēšanas funkciju konverģenci treniņa laikā, kas padarīja mērķa lodziņa regresiju stabilāku un uzlaboja atsaukšanas ātrumu. Izteiktāki mAP uzlabojumi tika novēroti YOLOv3, kas ietvēra SPP struktūru un sasniedza 73,2%.

SPP struktūra apvienoja lokālos un globālos raksturlielumus, uzlabojot objektu kartes spēju izteikties un ievērojami palielinot noteikšanas precizitāti. Izmantojot metodi, pievienojot ceturto prognozēšanas pazīmju slāni ar 152 × 152 skalām, arī theAP tika ievērojami uzlabots.

Maza mērķa noteikšanas precizitāte tika uzlabota par 10,5%, salīdzinot ar YOLOv3, kas pilnībā izmantoja tīkla seklās funkcijas maza mērķa prognozēšanai, kā rezultātā tika ievērojami uzlabots noteikšanas efekts, taču uz palielinātas tīkla sarežģītības un apstrādes rēķina. . Labākais uzlabojums bija M-YOLOv3, kas apvienoja trīs uzlabošanas procedūras un sasniedza 77,3% MAP, kas ir par 8,4% augstāka nekā sākotnējā YOLOv30 vidējā vidējā precizitāte. 13. attēlā ir parādīti M-YOLOv3 testa rezultāti uz TT100K.

4.2.2. Uzlabotā YOLOv3 algoritma salīdzinājums ar citiem algoritmiem

M-YOLOv3 tika salīdzināts ar vairākiem citiem klasiskajiem mērķa noteikšanas algoritmiem, lai vēl vairāk apstiprinātu uzlabotā tīkla noteikšanas atpazīšanu, un rezultāti ir parādīti 2. tabulā.

2. tabulā parādīts, ka M-YOLOv3 bija visaugstākais mAP — 77,3%, un SSD bija vislabākā reāllaika veiktspēja ar 42 FPS. Salīdzinot ar sākotnējo YOLOv3 algoritmu, vidējais precizitātes vidējais rādītājs ir ievērojami uzlabots, lai gan reāllaika dati. veiktspēja tika samazināta. Salīdzinot ar vienpakāpes algoritmu SSD, mAP uzlabojās par 12%, bet joprojām bija nepilnības reāllaika veiktspējā. Salīdzinot ar divpakāpju mērķa noteikšanas algoritmu Faster-RCNN, FPS tika uzlabots līdz 22, un arī mAP tika uzlabots par 1,7%, kas uzlaboja noteikšanas ātrumu, kā arī noteikšanas precizitāti. Izmēģinājumi parādīja, ka M-YOLOv3 darbojās labāk noteikšanas precizitātes un ātruma ziņā.

4.2.3. Uzlabota YOLOv3 atpazīšanas ietekme uz ceļa zīmēm īpašā vidē

Ņemot vērā dažādus faktorus, piemēram, spēcīgu gaismas apstarošanu, nakts laiku un īpašo satiksmes zīmju oklūzijas vidi, kas ietekmēs ceļa zīmju noteikšanu un atpazīšanu reālās braukšanas situācijās, bija jāņem vērā arī modeļa atpazīšanas ietekme uz ceļa zīmēm īpašās vidēs. Īpašos apstākļos tika izmantots uzlabotais YOLOv3 modelis, lai atpazītu ceļa zīmes, kā parādīts 13. attēlā.

14. attēlā YOLOv3 noteikšanas efekts ir salīdzināts ar M-YOLOv3 noteikšanas efektu īpašā vidē. Kā parādīts 14. (b1,c1) attēlā, YOLOv3 algoritms nespēja noteikt aizklāto ceļa zīmi aizklātas ceļa zīmes gadījumā, savukārt uzlabotais YOLOv3 algoritms precīzi identificēja aizsegto ceļa zīmi; kā parādīts 14. attēlā (b2,c2), YOLOv3 algoritmam bija problēmas ar viltus noteikšanu un nepareizu atpazīšanu ceļa zīmju atpazīšanai spēcīgas gaismas starojuma vidē, savukārt uzlabotais YOLOv3 algoritms precīzi atpazina visas ceļa zīmes.

Uzlabotais YOLOv3 algoritms palielināja ceturto funkciju prognozēšanas skalu maziem mērķiem, uzlabojot mazo mērķu noteikšanas efektu, savukārt YOLOv3 algoritmam bija problēmas ar nokavētu noteikšanu un zemu ticamību maziem mērķiem, kā parādīts 14. attēlā (b3, c3); vāji apgaismotā vidē, piemēram, naktī, uzlabotais YOLOv3 algoritms atpazina ceļa zīmes, kā parādīts 14. attēlā (b4, c4); tomēr YOLOv3 metode nekonstatēja mērķus. Tā rezultātā konkrētās situācijās atjauninātais YOLOv3 algoritms joprojām sniedza labākus noteikšanas rezultātus.

5. Secinājumi

Šajā pētījumā tika ieteikts izveidot ceļu satiksmes zīmju noteikšanas un atpazīšanas tīklu, kura pamatā ir modificēts YOLOv3, lai risinātu grūtības saistībā ar maziem mērķiem, kurus ir grūti noteikt, un zemu noteikšanas precizitāti ceļa zīmju noteikšanas un identifikācijas uzdevumos.

Jaunā telpiskā piramīdas apvienošanas struktūra šajā pētījumā ļāva apvienot vietējās un globālās iezīmes, kā arī palielināja ceturto funkciju prognozēšanas skalu maziem mērķiem, lai uzlabotu mazu mērķu noteikšanas efektu. Lai mērķa kadra regresiju padarītu stabilāku, tika izmantots DIoU zudums, kam bija ātrāka konverģence un kas vairāk atbilst mērķa kadra regresijai.

Atklāšanas tīkla precizitāte tika ievērojami uzlabota, pēc iespējas mazāk sabojājot reāllaika tīklu. MAP palielinājās par 8,4 punktiem. Jauninātais YOLOv3 algoritms uzlaboja tīkla sarežģītību un samazināja noteikšanas ātrumu. Tomēr reāllaika noteikšana joprojām ir tālu; tāpēc nākamā pētniecības joma būs noteikšanas ātruma palielināšana, lai panāktu reāllaika noteikšanas efektu.

Autora ieguldījums: metodoloģija un rakstīšana - oriģinālā projekta sagatavošana, AL un CG; formalanalīze un izmeklēšana, YS; datu pārvaldīšana, NX; resursi, AL; validācija, WH Visi autori ir izlasījuši un piekrituši publicētajai manuskripta versijai.

Finansējums: šo projektu atbalstīja Šaņdunas provinces augstākās izglītības jaunatnes inovāciju zinātnes un tehnoloģiju programma (granta Nr. 2019KJB019), Ķīnas Šaņdunas provinces dabaszinātņu fonds (granta Nr. ZR2021MF131, ZR2015EL019 un Dabaszinātņu fonds ZR2020ME126). Ķīna (dotācijas Nr. 61601265 un 51505258). Šo projektu finansēja Ķīnas Pēcdoktorantūras zinātnes fonds (granta Nr. 2021M701405), Ķīnas Satiksmes inženiertehnisko konstrukciju mehāniskās uzvedības un sistēmu drošības galvenās laboratorijas atklātais projekts (granta Nr. 1903), Hebei satiksmes drošības un kontroles atklātais projekts. Key Laboratory, Ķīna (granta Nr. JTKY2019002) un galvenais zinātnes un tehnoloģiju inovāciju projekts Šaņdunas provincē (granta Nr. 2022CXGC020706).

Institucionālās pārbaudes padomes paziņojums: nav piemērojams.

Paziņojums par informētu piekrišanu: Nav piemērojams.

Paziņojums par datu pieejamību: Nav piemērojams.

Pateicības: Pateicamies visiem autoriem par ieguldījumu šī raksta tapšanā.

Interešu konflikti: autori paziņo, ka nav interešu konflikta.

Atsauces

1. De la Eskalera, A.; Armingols, JM; Mata, M. Satiksmes zīmju atpazīšana un analīze viedajiem transportlīdzekļiem. Attēls Vis. Aprēķināt. 2003, 21, 247–258. [CrossRef]

2. Saadna, Y.; Behloul, A. Pārskats par ceļa zīmju noteikšanas un klasifikācijas metodēm. Int. J. Multimed. Informācija. Retr. 2017, 6 193–210. [CrossRef]

3. Boumediene, M.; Kūdels, C.; Basets, M.; Ouamri, A. Trīsstūrveida ceļa zīmju noteikšana, pamatojoties uz RSLD algoritmu. Mačs. Vis. Appl.2013, 24, 1721–1732. [CrossRef]

4. Maldonādo-Baskons, S.; Lafuente-Aroyo, S.; Gil-Jimenez, P.; Gomess-Moreno, H.; Lopess-Ferreras, F. Ceļa zīmju noteikšana un atpazīšana, pamatojoties uz atbalsta vektoru mašīnām. IEEE Trans. Intell. Transp. Sist. 2007, 8, 264–278. [CrossRef]

5. Bahlmann, C.; Džu, Y.; Ramešs, V.; Pelkofers, M.; Koehler, T. Sistēma ceļa zīmju noteikšanai, izsekošana un atpazīšana, izmantojot krāsu, formu un kustības informāciju. In Proceedings of IEEE Proceedings. Intelligent Vehicles Symposium, 2005, Las Vegas, NV, ASV, 2005. gada 6.–8. jūnijs; 255.–260.lpp.

6. Ren, S.; Viņš, K.; Giršiks, R.; Sun, J. Faster R-CNN: Ceļā uz reāllaika objektu noteikšanu ar reģiona ierosinājumu tīkliem.Adv. Neironu informācija. Process. Sist. 2015, 28, 91–99. [CrossRef] [PubMed]

7. Liu, V.; Anguelovs, D.; Erhans, D.; Szegedy, C.; Rīds, S.; Fu, C.-Y.; Bergs, maiņstrāvas SSD: viena šāviena multibox detektors. Eiropas konferencē par datorredzi; Springer: Cham, Šveice, 2016; 21.–37.lpp.

8. Redmons, J.; Divvala, S.; Giršiks, R.; Farhadi, A. Jūs skatāties tikai vienu reizi: vienota, reāllaika objektu noteikšana. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Lasvegasa, NV, ASV, 2016. gada 27.–30. jūnijs; IEEE: Piscataway, NJ, ASV, 2016; 779.–788.lpp.

9. Van, Z.; Guo, H. Pētījumi par ceļa zīmju noteikšanu, pamatojoties uz konvolucionālo neironu tīklu. In Proceedings of the 12th International Symposium on Visual Information Communication and Interaction, Šanhaja, Ķīna, 2019. gada 20.–22. septembris; 1.–5.lpp.

10. Han, C.; Gao, G.; Džans, Y. Mazo ceļa zīmju noteikšana reāllaikā ar pārskatītu ātrāku RCNN. Multivide. Rīki Appl. 2019, 78,13263–13278. [CrossRef]

11. Džans, Dž.; Huangs, M.; Jin, X.; Li, X. Ķīnas reāllaika ceļa zīmju noteikšanas algoritms, kura pamatā ir modificēts YOLOv2. Algorithms2017, 10, 127. [CrossRef]

12. Žu, Z.; Liang, D.; Džans, S.; Huangs, X.; Li, B.; Hu, S. Satiksmes zīmju noteikšana un klasifikācija savvaļā. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2016, Las Vegas, NV, ASV, 2016. gada 27.–30. jūnijs; 2110.–2118.lpp.

For more information:1950477648nn@gmail.com