Mašīnmācīšanās algoritmu veiktspēja, lai prognozētu demences progresēšanu atmiņas klīnikas pacientiem

Lai iegūtu vairāk informācijas:ali.ma@wecistanche.com

Abstrakts

SVARĪGI

Mašīnmācīšanās algoritmus varētu izmantot kā pamatu klīnisko lēmumu pieņemšanas palīglīdzekļiem, lai uzlabotu klīnisko praksi.

MĒRĶIS

Novērtēt mašīnmācīšanās algoritmu spēju prognozēt demences sastopamību 2 gadu laikā salīdzinājumā ar esošajiem modeļiem un noteikt optimālo analītisko pieeju un nepieciešamo mainīgo skaitu.

DIZAINS, IESTATĪJUMI UN DALĪBNIEKI

Šajā prognostiskajā pētījumā tika izmantoti dati no iespējamās 15 307 dalībnieku grupas, kam sākotnēji nebija demences, lai veiktu sekundāru faktoru analīzi, ko varētu izmantot demences sastopamības prognozēšanai. Dalībnieki apmeklēja Nacionālo Alcheimera koordinācijas centruatmiņaklīnikās visā ASV laikā no 2005. līdz 2015. gadam. Analīzes tika veiktas no 2021. gada marta līdz maijam. EKSPOZĪCIJAS 258 mainīgie lielumi, kas aptver ar demenci saistīto klīnisko pasākumu un riska faktoru jomas.

GALVENIE REZULTĀTI UN PASĀKUMI

Galvenais iznākums bija nejauša visu cēloņu demence, kas tika diagnosticēta 2 gadu laikā pēc sākotnējā novērtējuma.

Šarlote Džeimsa, Ph.D.; Dženisa M. Ransone, Ph.D.; Ričards Eversons, Ph.D.; David J. Lewellyn, PhD

REZULTĀTI

Dalībnieku izlasē {{0}} (vidējais [SD] vecums, 72,3 [9,8] gadi; 9129 [6{{20}} procenti ] sievietes un 6178 [4{{24) }} procenti ] vīriešu), kuriem sākotnēji nebija demences, 1568 (10 procenti) saņēma demences diagnozi 2 gadu laikā pēc sākotnējās novērtēšanas. Salīdzinājumā ar diviem esošajiem demences riska prognozēšanas modeļiem (ti, kardiovaskulārie riska faktori, novecošanās un demences sastopamības riska rādītājs un īsais demences skrīninga indikators), mašīnmācīšanās algoritmi bija labāki, lai 2 gadu laikā prognozētu visu cēloņu demenci. Gradientu palielināto koku algoritma vidējā (SD) kopējā precizitāte bija 92 procenti (1 procents), jutība 0.45 (0.05), specifiskums 0,97 (0,01) un laukums zem līknes 0,92 (0,01), izmantojot visus 258 mainīgos. Mainīgas nozīmes analīze parādīja, ka mašīnmācīšanās algoritmiem bija nepieciešami tikai 6 mainīgie, lai sasniegtu precizitāti 91% un laukumu zem līknes vismaz 0,89. Mašīnmācīšanās algoritmi arī identificēja līdz 84 procentiem dalībnieku, kuri saņēma sākotnējo demences diagnozi, kas pēc tam tika mainīta uz viegliem kognitīviem traucējumiem vai kognitīviem traucējumiem, kas liecina par iespējamu nepareizu diagnozi.

SECINĀJUMI UN ATbilstība

Šie atklājumi liecina, ka mašīnmācīšanās algoritmi varētu precīzi paredzēt demenci 2 gadu laikā pacientiem, kuri saņem aprūpi plkst.atmiņaklīnikas, izmantojot tikai 6 mainīgos. Šos atklājumus varētu izmantot, lai informētu par lēmumu pieņemšanas palīglīdzekļu izstrādi un apstiprināšanuatmiņaklīnikas.

Noklikšķiniet, lai pievienotu DHT atmiņai

Ievads

Daudzi pacienti novērtēti specializētos apstākļos, piemēram,atmiņaklīnikās nav demences, kad viņi apmeklē pirmo reizi.1 Ir svarīgi atšķirt pacientus, kuriem demence attīstās klīniski nozīmīgā laika posmā, un tos, kuriem demences nav, jo šo ieskatu var izmantot, lai noteiktu prioritāti pacientiem pēcpārbaudes izmeklēšanā. un intervences. Klīnicistiem ir grūti identificēt pacientus, kuriem ir augsts demences attīstības risks. Viena pieeja ir koncentrēties uz tiem, kuriem sākotnēji ir novērtēti viegli kognitīvi traucējumi (MCI), un uzaicināt šos pacientus uz novērošanu. Tomēr tas var izraisīt ievērojamu nepareizu klasifikāciju pacientiem, kuriem nav paredzēta novērošana, bet kuriem attīstās demence, un pacientiem, kuriem tiek veikta turpmāka izmeklēšana, bet kuriem demence neattīstās. Lielākajai daļai atmiņas klīnikas pacientu ar MCI neprogresējas līdz demencei pat pēc 10 gadiem, un ikgadējais konversijas līmenis ir 9,6 procenti.

Klīniskie lēmumu pieņemšanas līdzekļi var uzlabot klīnicistu spēju novērtēt demences sākumu. Ir pieejami esošie klīnisko lēmumu pieņemšanas palīglīdzekļi, lai novērtētu vidēja un ilgtermiņa demences sastopamību dažādās populācijās. Piemēram, kardiovaskulāro riska faktoru, novecošanas un demences sastopamības riska rādītājs3 tika izstrādāts, lai prognozētu demences attīstības risku pēc 20 gadiem pusmūža cilvēkiem, un īsa demences skrīninga indikatora (BDSI)4 mērķis ir identificēt vecāka gadagājuma cilvēkus. pacientiem jāmērķē uz kognitīvo skrīningu, nosakot demences attīstības risku 6 gadu laikā. Tomēr, cik mums zināms, nav izstrādāts klīnisku lēmumu pieņemšanas palīglīdzeklis, lai prognozētu demences sastopamību atmiņas klīnikās īsākā klīniski nozīmīgā periodā.

Mašīnmācība (ML) ļauj izmantot informāciju no lielām un sarežģītām datu kopām. Nesen tas tika izmantots demences diagnosticēšanai un riska prognozēšanai.{0}} Tomēr šajos modeļos bieži ir iekļauta informācija, kas parasti nav pieejama parastajā klīniskajā praksē, piemēram, uzlabota neiroattēlveidošana, ģenētiskā pārbaude un cerebrospinālā šķidruma biomarķieri, tādējādi ierobežojot klīnisko pielietojumu speciālistu vai pētniecības uzstādījumus.

Mēs izpētījām, vai ML metodes var izmantot, lai prognozētu demences sastopamību 2-gada periodā, izmantojot atmiņas klīnikas datus no ASV NacionālāsAlcheimeraKoordinācijas centrs (NACC). Mēs arī pārbaudījām minimālo mainīgo kopu, kas nepieciešama ML modeļiem, lai sasniegtu pilnīgu diagnostikas veiktspēju.

Metodes

NACC pētījums saņēma ētisku apstiprinājumu no katras vietnes institucionālās pārskata padomes, pirms tas varēja sniegt datus, un visi dalībnieki bija snieguši informētu rakstisku piekrišanu. Šis prognostiskais pētījums tika uzskatīts par atbrīvotu no institucionālā ētiskā apstiprinājuma, jo mēs izmantojām iepriekš savāktos neidentificētos datus. Šajā pētījumā izmantotie dati ir pieejami pēc datu pieprasījuma NACC. Par šo pētījumu ziņo saskaņā ar daudzfaktoru prognozēšanas modeļa caurspīdīgo ziņošanu individuālai prognozei vai diagnostikai (TRIPOD) ziņošanas vadlīnijām. Dati tika analizēti no 2021. gada marta līdz maijam.

Pētījuma paraugs

Mēs izmantojām iepriekš savāktos datus no NACC vienotās datu kopas (UDS).10 UDS satur iespējamos kohortas datus no ASV Nacionālā novecošanas institūta.AlcheimeraSlimībaCentra programma daudzcentru sadarbības pētījumiem parAlcheimera slimībaslimībaun citi neirodeģeneratīvi traucējumi.11 Mūsu datu kopa sastāv no atmiņas klīnikas datiem, kas savākti no 2005. gada septembra līdz 2015. gada februārim no 30.Alcheimera slimībaSlimībaCentri, kas atrodas Amerikas Savienotajās Valstīs. Datu kopa ietver dalībnieku un līdzdalībnieku sociodemogrāfiskos raksturlielumus, ģimenes vēsturi, funkcionālo stāvokli, 12 uzvedības simptomus (novērtēti ar neiropsihiatriskās uzskaites aptaujas rezultātiem13), neiropsiholoģisko testu akumulatoru,14 un NACC klīniskās demences diagnozi, ko piešķir katrs.AlcheimeraSlimībaCentrā, izmantojot publicētos klīniskās diagnostikas kritērijus, kuru pamatā ir standartizēts UDS klīniskais novērtējums. Sīkāka informācija par diagnostikas kritērijiem, kas pieņemti ar UDS protokolu, un saistītie norādījumi ir publicēti iepriekš.15

Mēs izmantojām UDS 1. un 2. versiju, kurā ir iekļauti 32 573 atmiņas klīnikas apmeklētāji ar sākotnējo novērtējumu. Lai gan mūsu modeļi ir izstrādāti, lai prognozētu demences sastopamību 2 gadu laikā, lai ņemtu vērā laika atšķirības starp novērošanas tikšanās reizēm, mēs iekļāvām novērošanu, kas notika 29 mēnešu laikā pēc sākotnējās vizītes, lai nodrošinātu, ka vizīte bija vai nu pirmā, vai otrā novērošanas tikšanās.

Iznākuma mainīgais

Iznākuma mainīgais lielums bija nejauša visu cēloņu demences diagnoze 29 mēnešu (apmēram 2 gadu) laikā pēc sākotnējā novērtējuma. Tas ietver demences apakštipus, piemēram, Alcheimera demenci, demenci ar Lūija ķermeņiem, vaskulāro demenci un citus retākus apakštipus. Alcheimera demence tika diagnosticēta saskaņā ar NINCSD-ADRDA kritērijiem,16 vaskulārā demence tika diagnosticēta saskaņā ar NINDS-AIREN kritērijiem,17 Lewy ķermeņa demence (LBD) tika diagnosticēta saskaņā ar trešo ziņojumu par Demence with Lewy Bodies Consortium kritērijiem,18 un frontotemporālā demence. tika diagnosticēts pēc Neary un kolēģu 1998. gada kritērijiem.19

Prognozētāju kandidāti

Mēs iekļāvām visus klīniski nozīmīgos mainīgos, kas tika savākti sākotnējā apmeklējuma laikā UDS 1. un 2. versijā (e-tabula 1 pielikumā). Mēs izslēdzām mainīgos ar brīvā teksta vērtībām, piemēram, medikamentu nosaukumus, un mainīgos, kas bija nemainīgi visiem dalībniekiem, piemēram, apmeklējuma numuru. Tika ģenerēti četri sintētiskie mainīgie, lai palīdzētu novērtēt mainīgo nozīmi (šie mainīgie ir jānovērtē zemā līmenī); 3 no šiem mainīgajiem bija esošo mainīgo permutācijas (1 binārais, 1 kategoriskais un 1 skaitliskais mainīgais), un 1 mainīgais tika nejauši ģenerēts no normāla sadalījuma. Tā rezultātā kopā tika iegūti 258 mainīgie.

Mūsu modeļos iekļautie UDS mainīgie lielumi ietver dalībnieku demogrāfiskos raksturlielumus (15 mainīgie), līdzdalībnieku demogrāfiskos raksturlielumus (7 mainīgie), ģimenes vēsturi (3 mainīgie), slimības vēsturi (47 mainīgie), medikamentus (21 mainīgais), fiziskos (12 mainīgie). ) un neiroloģisko (4 mainīgie) izmeklējumu rezultāti, vienotā Parkinsona slimības novērtējuma skala20 (UDPRS) (28 mainīgie), klīniskās demences novērtējuma (CDR) skala21 (8 mainīgie), funkcionālais stāvoklis (10 mainīgie), neiropsiholoģiskā testa baterija (50 mainīgie) , Geriatriskās depresijas skala (17 mainīgie) un simptomu klīniskais novērtējums (32 mainīgie). No šiem mainīgajiem 239 (93 procenti) trūka vismaz vienam dalībniekam, un visiem dalībniekiem trūka vismaz 1 mainīgā.

Modeļa izstrāde

Mēs ieviesām 4 ML algoritmus22: loģistikas regresiju (LR), 23 atbalsta vektoru mašīnu (SVM), 24 nejaušu mežu (RF), 25, 26 un gradientu pastiprinātus kokus (XGB)27 (e-metodes pielikumā). Šie algoritmi veic klasifikācijas uzdevumu: tie nosaka, vai dalībnieks ietilpst klasē 0 (paredzams, ka viņš paliks bez demences 29 mēnešus no sākuma līmeņa) vai 1. klasi (paredzams, ka viņš piedzīvos demenci 29 mēnešu laikā pēc sākotnējā stāvokļa). Klasifikācija ir balstīta uz mainīgajiem lielumiem, kas reģistrēti viņu pirmajā (sākotnējā) atmiņas klīnikas apmeklējumā. Lai ieviestu ML algoritmus, mēs izmantojām Python sci-kit-learn bibliotēku (Python Software Foundation)28 ar 5-kārtīgu savstarpēju validāciju (e-metodes pielikumā). Trūkstošās vērtības tika imputētas, ņemot paraugus, aizstājot ar netrūkstošām vērtībām. Visa datu apstrāde un analīze tika ieviesta Python versijā 3.9, NumPy versijā 1.19.4 un sci-kit-learn versijā 0.24.0.

Statistiskā analīze

Modeļa novērtējums

Mēs novērtējām visu modeļu veiktspēju, salīdzinot to vispārējo precizitāti, jutīgumu un specifiskumu attiecībā uz lēmumu pieņemšanas sliekšņiem, kas iepriekš norādīti literatūrā (esošie modeļi) vai slieksni 0,5 (ML modeļi), kas vienādi sver kļūdaini pozitīvus rezultātus. un kļūdaini negatīvas kļūdas. Laukums zem uztvērēja darbības raksturlīknes (AUC)29 tika izmantots, lai apkopotu modeļa veiktspēju pār visiem iespējamajiem sliekšņiem un tādējādi nepareizas klasifikācijas kļūdu svērumus.30 Vidējie veiktspējas rādītāji un SD tika iegūti, izmantojot sāknēšanas metodi (e-metodes pielikumā).

Salīdzinājums ar esošajiem modeļiem

BDSI un CAIDE ir esošie demences riska prognozēšanas modeļi, kas pacientiem piešķir punktu skaitu, kas atspoguļo viņu demences attīstības risku ilgākā laika posmā. Lai iegūtu BDSI un CAIDE riska rādītājus, mēs atlasījām mainīgos no UDS, kas visvairāk atbilst iepriekš izmantotajiem mainīgajiem (2. tabula papildinājumā). Mūsu ML modeļu veiktspēja tika salīdzināta ar BDSI un CAIDE, lai prognozētu 2-gadu demences sastopamību.

Modeļa veiktspēja demences apakštipos

Demencei var būt dažādi cēloņi, kas atbilst dažādiem demences apakštipiem. Lai novērtētu ML modeļu spēju identificēt dažādus demences apakštipus, mēs sadalījām demences gadījumus Alcheimera demences, LBD, asinsvadu demences un citos demences apakštipos. Izmantojot šīs 4 stratifikācijas, mēs aprēķinājām pareizi klasificēto dalībnieku procentuālo daļu (patiesi pozitīvs rādītājs) un salīdzinājām ROC līknes katram ML modelim.

Diagnostikas stabilitātes izpēte

Ir zināms, ka demences klīniskajā diagnozē tiek iekļauti pacienti, kuriem sākotnēji ir noteikta nepareiza diagnoze (faktiski gan viltus pozitīvas, gan viltus negatīvas kļūdas).31 Mēs definējam, ka reversija ir tāda, kad dalībniekam, kuram tika diagnosticēta demence līdz 2 gadiem pēc pirmā atmiņas klīnikas apmeklējuma. un pēc tam 2 gadu laikā pēc demences diagnozes saņemšanas diagnozi, ka nav demences (vai nu MCI, vai netraucētas izziņas). Pamatojot, ka šīs reversijas ir nestabilas diagnozes un, iespējams, ir demences nepareizas diagnozes rezultāts, mēs pētījām ML modeļu klasifikācijas precizitāti dalībnieku izlasē ar reversiju (e-metodes pielikumā). Mēs izmantojām katra ML modeļa klasifikācijas punktu kumulatīvā sadalījuma funkciju (CDF), lai salīdzinātu dalībniekus ar reversiju ar pacientiem, kuriem attīstījās demence, un pacientiem, kuri palika bez demences.

Rezultāti

Izslēdzot {{0}} dalībniekus ar demences diagnozi sākotnējā stāvoklī, 4557 dalībniekus, kuriem nebija nekādu novērošanas datu, un 573 dalībniekus, kuriem pirmā novērošana tika veikta vairāk nekā 29 mēnešus pēc pirmās vizītes , galīgajā analītiskajā paraugā bija 15 307 dalībnieki (vidējais [SD] vecums, 72,3 [9,8] gadi; 9129 [60 procenti] sievietes un 6178 [40 procenti] vīrieši). Paraugu raksturojums ir parādīts 1. tabulā. 2 gadu laikā pēc sākotnējā stāvokļa 1568 dalībniekiem (10 procenti) tika diagnosticēta demence. No 1568 dalībniekiem, kuri saņēma demences diagnozi, 273 (17 procenti) diagnosticēja viens klīnicists, un 1216 (78 procenti) diagnosticēja vienprātības grupa; 79 dalībniekiem (5 procenti) diagnozes avots netika norādīts. Galvenie veiktspējas rādītāji, kas novērtē katra modeļa paredzamo spēju, ir doti 2. tabulā. Salīdzinot ar esošajiem modeļiem, ML modeļi bija labāki ar spēju prognozēt, vai indivīdam 2 gadu laikā attīstīsies demence, un tie pārspēja esošos modeļus visos rādītājos. Visi ML modeļi darbojās līdzīgi, un XGB bija vislielākā jauda, ​​mērot pēc kopējās precizitātes (92 procenti) un AUC (vidējais [SD], 0,92 [0,01]). Katra modeļa uztvērēja darbības raksturlīkne parāda ML modeļu līdzību un to pārākumu salīdzinājumā ar diviem esošajiem riska modeļiem (1. attēls).

Modeļa veiktspēja demences apakštipos

Lai novērtētu ML modeļa veiktspēju dažādos demences apakštipos, mēs sadalījām populāciju 4 demences apakštipos: Alcheimera demence (1285 dalībnieki), LBD (82 dalībnieki), vaskulārā demence (21 dalībnieks) un citi demences apakštipi (180 dalībnieki). LR modelis vislabāk palīdzēja identificēt Alcheimera demenci un citus apakštipus, pareizi klasificējot 589 dalībniekus (46 procenti) ar Alcheimera demenci un 99 dalībniekus (55 procenti) ar citiem apakštipiem. SVM modelis vislabāk darbojās dalībniekiem ar LBD, pareizi klasificējot 40 dalībniekus (49 procenti). Visos modeļos pareizi tika klasificēti 7 dalībnieki (33 procenti) ar asinsvadu demenci. Uztvērēja darbības raksturlīknes parāda, ka visi modeļi darbojās aptuveni vienādi labi katrā apakštipā (e. 1. attēls papildinājumā).

Minimālā mainīgo skaita izpēte

Viens no iespējamiem ML pieejas izmantošanas trūkumiem ir lielais iesaistīto mainīgo lielumu skaits. Palielinoties modelim nepieciešamo mainīgo lielumu skaitam, ieviešana klīniskajā vidē kļūst mazāk praktiska un tiek traucēta modeļa interpretējamība. Lai novērtētu, cik daudz mainīgo katram ML modelim bija nepieciešams, lai sasniegtu līdzvērtīgu paredzamo jaudu tam, ko mēs atradām, izmantojot visus 258 mainīgos (2. tabula), mēs novērtējām, kā AUC mainījās atkarībā no modeļos iekļauto mainīgo skaita. Konkrēti, mēs sarindojām katra modeļa mainīgos, sakārtojot tos dilstošā svarīguma secībā (ti, katra mainīgā diskriminējošā jauda saskaņā ar algoritmu; e-metodes pielikumā). Pēc tam mēs pārkvalificējām katru modeli ar arvien lielāku mainīgo skaitu, sākot ar vissvarīgāko. Mēs noskaidrojām, ka visiem modeļiem bija nepieciešami tikai 22 mainīgie, lai sasniegtu diagnostisko veiktspēju, kas statistiski neatšķiras no to optimālās vidējās veiktspējas (2. attēls; e. 2. attēls pielikumā). Sintētiskie mainīgie, kas tika pievienoti, lai nodrošinātu mainīgā svarīguma novērtējuma derīgumu, nevienam modelim nebija 22 populārākajos mainīgajos, atspoguļojot faktu, ka pēc pilnīgas diagnostikas veiktspējas sasniegšanas bija maz informācijas, lai stingri noteiktu mainīgo rangu.

Galveno riska faktoru identificēšana

No 22 svarīgākajiem mainīgajiem lielumiem katram modelim tikai 5 bija kopīgi visiem modeļiem (ti, klīniskais vērtējums par atmiņas pasliktināšanos, kognitīvām spējām, uzvedību, spēju pārvaldīt lietas vai motora un kustību izmaiņas; laiks, lai pabeigtu taku veidošanas testu B daļa; CDR: orientācijas traucējumi; CDR: mājas un vaļasprieku traucējumi; un neatkarības līmenis). No pārējiem mainīgajiem bija 1 0 pāri, kuru korelācija bija lielāka par 0.7, kas norāda, ka tie ir līdzīgi mainīgie (e-tabula 3 pielikumā). Ņemot vērā šo korelāciju, mainot mainīgos, kas bija ļoti korelēti, mēs atklājām, ka ir 6 ļoti prognozējami mainīgie (klīniskais spriedums par samazināšanos, laiks, lai pabeigtu Trail Making Test B daļu, 3 CDR komponenti [orientācija, atmiņa, mājas un vaļasprieki traucējumi] un neatkarības līmenis), kas bija kopīgi visiem ML modeļiem (e-tabula 4 pielikumā). Apmācot katru modeli, izmantojot tikai šos mainīgos, mēs atklājām, ka LR un XGB diagnostikas veiktspēja nav būtiski samazinājusies: izmantojot šo 6 mainīgo pamatkopu, šiem modeļiem vidējā (SD) precizitāte bija 91 procents (0 procenti ) LR un 91 procents (1 procents ) XGB un vidējais (SD) AUC 0,89 (0.01) LR un 0,89 (0,02) XGB. (e. 5. tabula pielikumā).

Diagnostikas stabilitāte

No 1568 dalībniekiem, kuriem 2 gadu laikā tika diagnosticēta demence, mēs identificējām 130 (8 procenti), kuriem sākotnēji bija nepareiza diagnoze un kuri tāpēc tika nepareizi marķēti ML nolūkos. Mēs noskaidrojām, ka, lai gan par reversijām tika ziņots tikai 0,8 procentiem dalībnieku, tās veidoja 92–109 dalībniekus (7 procentus -8 procentus) no nepareizi klasificētiem dalībniekiem ar nelielām atšķirībām starp modeļiem (3. tabula). RF modelim bija visaugstākā diagnostiskā stabilitāte, pareizi identificējot 109 no 130 dalībniekiem ar reversiju (84 procenti), klasificējot tos kā bez demences 2 gadu laikā. Lai izpētītu ML modeļu diagnostisko stabilitāti, mēs noņēmām dalībniekus ar reversiju apmācības laikā (e-metodes pielikumā). Pēc modeļu pārkvalificēšanas bez reversijām mēs atklājām, ka RF identificēja 106 dalībniekus, kuriem bija reversijas (vidējā [IQR], 82 procenti [78 procenti -82 procenti ]), SVM identificēja 93 dalībniekus, kuriem bija reversijas (vidējā [IQR], 72 procenti [69 procenti -74 procenti ]), gan LR, gan XGB identificēja 92 dalībniekus, kuriem bija reversijas (vidēji [IQR], 71 procenti [68 procenti -75 procenti ]). IQR tika iegūti, sāknējot dalībniekus, kuri piedzīvoja reversiju.

Lai saprastu atšķirību starp nepareizi klasificētiem dalībniekiem, dalībniekiem ar reversiju un dalībniekiem, kuriem attīstījās demence bez reversijas, mēs analizējām klasifikācijas punktu CDF, kas iegūti no katra ML modeļa. Mēs noskaidrojām, ka nepareizi klasificētu dalībnieku un konkrētu dalībnieku ar reversiju rādītāji atšķiras no dalībniekiem, kuriem attīstījās demence, un tiem, kuriem tā nebija (e. Pielikuma 3. attēls). Dalībnieku, kuriem neattīstījās demence, klasifikācijas punktu CDF nokritās katra diagrammas kreisajā pusē, norādot, ka ML modeļi šiem dalībniekiem piešķīra zemu demences attīstības iespējamību. Un otrādi, dalībniekiem, kuriem attīstījās demence, CDF nokritās pa labi no parauglaukuma: viņiem tika piešķirta liela demences attīstības iespējamība. Visiem modeļiem punktu sadalījums dalībniekiem ar reversiju samazinājās pa kreisi no tiem dalībniekiem, kuriem attīstījās demence, kas nozīmē, ka dalībniekiem ar reversiju saskaņā ar šiem modeļiem tika novērtēta mazāka demences attīstības iespējamība.

Diskusija

Šajā prognostiskajā pētījumā ML algoritmiem bija augstāka prognostiskā precizitāte, salīdzinot ar BDSI un CAIDE, prognozējot demences sastopamību 2 gadu laikā pēc pacienta pirmās atmiņas klīnikas novērtējuma. Tika novērtēti divi no ML algoritmiem, lai sasniegtu 91 procenta precizitāti un 0,89 AUC ar tikai 6 galvenajiem mainīgajiem. Jutīguma analīze liecina, ka ML modeļi varēja pareizi klasificēt lielu daļu dalībnieku, kuriem bija reversija un kuri tika nepareizi diagnosticēti 2 gadu laikā pēc sākotnējās vizītes. Šim pētījumam ir vairākas stiprās puses, tostarp lielais pacientu paraugs, kas iegūts no vairākām atmiņas klīnikām visā Amerikas Savienotajās Valstīs, plašs izmantoto ML metožu klāsts, salīdzinošā novērtēšana ar esošajiem riska modeļiem, kā arī diagnostikas stabilitātes un iespējamās nepareizas diagnozes izpēte.

Iepriekšējie pētījumi par ML izmantošanu demences riska prognozēšanai ir vērsti uz pāreju no nesliktas izziņas uz Alcheimera demenci vai MCI,6,8 vai pāreju no MCI uz Alcheimera demenci.5 Šīs pieejas ir mazāk noderīgas klīniskā vidē, jo tās izslēdz citi demences veidi5,6,8 vai pacienti, kuriem sākotnēji nav kognitīvi traucējumi.5 Šajos pētījumos izmantotie dati ietvēra pozitronu emisijas tomogrāfijas skenējumus5,8 un cerebrospinālā šķidruma biomarķierus,8 no kuriem atmiņas klīnikā parasti nav pieejami. Lin et al pētījums6 to pārvarēja, izmantojot NACC datus, lai atrastu 15 neinvazīvu klīnisko mainīgo kopu, lai novērtētu risku, ka 4-gada periodā no nesliktas izziņas var pāriet uz MCI. Tomēr MCI konstrukcija joprojām ir diezgan pretrunīga32, un reklāmguvumu līmenis starp MCI un demenci bieži ir zems.32,33 Mūsu ML modeļi papildina šīs analīzes, un to priekšrocība ir tikai 6 galveno mainīgo iekļaušana klīniski nozīmīgā laika posmā un prognozēšana visu cēloņu demences iznākums.

No esošajiem modeļiem, kas tika pētīti mūsu pētījumā, CAIDE modelis bija vismazāk precīzs, lai prognozētu demences risku 2 gadu laikā, kas nav pārsteidzoši, ņemot vērā, ka tas tika izstrādāts, lai prognozētu ilgtermiņa demences risku pusmūža pieaugušajiem daudz ilgāk. novērošanas periods 20 gadi. BDSI darbojās labāk nekā CAIDE, iespējams, atspoguļojot to, ka tas bija paredzēts lietošanai gados vecākiem pieaugušajiem mērenākā 6 gadu novērošanas periodā. Tomēr visi ML modeļi pārspēja šos esošos modeļus. Izmantojot visus mainīgos, XGB bija visspēcīgākā ML pieeja, lai prognozētu pacientus, kuriem, iespējams, tiks diagnosticēta demence 2 gadu laikā, kas liecina, ka veids, kādā jaunie lēmumu koki tiek apmācīti, lai labotu pēdējo trīs kļūdas, rada nenozīmīgu veiktspēju. iegūt. Tomēr XGB šķita arī pieeja, kas vismazāk spēja identificēt dalībniekus, kuriem bija reversija, ti, tos, kuriem sākotnēji tika diagnosticēta demence 2 gadu laikā un kuriem šī diagnoze tika mainīta 2 gadu laikā pēc sākotnējās diagnozes noteikšanas.

ML modeļu veiktspēju var ievērojami samazināt nepareizi marķēti apmācības dati.34 Pretēji intuitīvi, nepareizi marķētu treniņu datu izslēgšana ne vienmēr uzlabo veiktspēju.35 Palielinoties trokšņa līmenim apmācības datos, šī trokšņa izslēgšanas vai samazināšanas vērtība samazinās, ja tāds pats troksnis ir arī validācijas datos.36 Tādējādi apmācības datu filtrēšana var pat samazināt veiktspējas nederīguma datus, kā konstatēts šajā pētījumā. Tomēr, ja nepareizas marķējuma līmenis ir mazāks par aptuveni 20 procentiem līdz 40 procentiem, nepareizi marķētu datu noņemšana var uzlabot validācijas datu precizitāti, pat ja tajā ir iekļauti nepareizi marķēti dati.35,37,38 Tas parāda, cik svarīgi ir pētīt diagnostikas stabilitāti apmācībā un validācijas dati: pat kritērija standarta datos ir iekļautas kļūdas.

Novērotais atgriešanās ātrums (8 procenti) bija līdzīgs tam, kāds tika konstatēts 2019. gada pētījumā, kas balstīts uz citu ASV iedzīvotāju skaitu.31 Mūsu pētījumā tika konstatēts, ka viltus pozitīvu rezultātu procentuālais daudzums svārstās no 7 procentiem līdz 19 procentiem atkarībā no kognitīvās spējas. izmantotais novērtējums. Cik mums zināms, šī ir pirmā iespējamās nepareizās diagnozes analīze NACC UDS un liecina, ka, izmantojot ML kā klīnisku lēmumu pieņemšanas palīglīdzekli, ir iespēja samazināt viltus pozitīvu diagnozi līdz pat 84 procentiem. Ņemot vērā to, ka pacienti, kuriem ir reversija, diagnostikas nozīmē ir robežlīnijas, no klīniskā perspektīvas var būt saprātīgi tos jebkurā gadījumā novērot, ņemot vērā to, ka ir bijis pamats klīniskām bažām. Tādējādi XGB var būt labākais klīnisko lēmumu pieņemšanas palīglīdzekļa modelis. Alternatīvi, ansambļa pieeja, kas sniedz sekundāras prognozes par iespējamo diagnostikas stabilitāti un nepareizas klasifikācijas iespējamību, var izrādīties vēl noderīgāka.

Ierobežojumi

Šim pētījumam ir vairāki ierobežojumi. Pirmkārt, gan CAIDE, gan BDSI tika izstrādāti, izmantojot dažādas populācijas nekā šajā pētījumā izmantotajai. Ne visiem mainīgajiem, kas tika izmantoti šo modeļu izstrādē, UDS bija precīzs ekvivalents, kas varēja ietekmēt to veiktspēju šajā datu kopā. Otrkārt, datu imputēšanai izmantotā metode var izraisīt imputācijas kļūdu. Konkrēti, imputācija aizvieto visas trūkstošās vērtības ar skaitlisku vērtību, tomēr dažas vērtības trūkst to saistību ar citu vērtību dēļ; tāpēc faktam, ka trūkst vērtības, ir informatīvs raksturs. Tomēr, lai gan dalībniekiem trūka datu vidēji par 14 procentiem, 6 identificētie galvenie mainīgie trūka vidēji 1 procentam dalībnieku. Treškārt, lai gan mūsu pētījumā tika izmantots liels atmiņas klīnikas apmeklētāju paraugs Amerikas Savienotajās Valstīs, padarot mūsu rezultātus ļoti piemērotus šim iestatījumam, nav zināms, cik lielā mērā šie rezultāti tiks vispārināti citās populācijās.

Secinājumi

Šis prognostiskais pētījums atklāja, ka ML modeļi pārspēja esošos demences riska prognozēšanas modeļus un tiem var būt potenciāls uzlabot demences gadījumu prognozēšanu 2 gadu laikā atmiņas klīnikās. Seši galvenie demences riska faktori, kas identificēti šajā pētījumā, var uzlabot klīnisko praksi atmiņas klīnikās, ja tie tiks iekļauti turpmākajos klīnisko lēmumu pieņemšanas palīglīdzekļos.

ATSAUCES

1. Hejl A, Høgh P, Waldemar G. Potenciāli atgriezeniski apstākļi 1000 secīgu atmiņas klīnikas pacientiem. J Neurol Neurosurg Psihiatrija.

2. Mitchell AJ, Shiri-Feshki M. Vieglu kognitīvo traucējumu progresēšanas ātrums uz demenci — 41 spēcīga sākuma kohortas pētījuma metaanalīze. Acta Psychiatr Scand. 2009;119(4):252-265.

3. Barnes DE, Beiser AS, Lee A u.c. Īsa demences skrīninga indikatora izstrāde un apstiprināšana primārajai aprūpei. Alcheimera demence. 2014;10(6):656-665.e1. doi:10.1016/j.jalz.2013.11.006

4. Kivipelto M, Ngandu T, Laatikainen T, Winblad B, Soininen H, Tuomilehto J. Riska rādītājs demences riska prognozēšanai 20 gadu vecumā vidēja vecuma cilvēku vidū: longitudināls, uz populāciju balstīts pētījums. Lancet Neirol. 2006;5(9):735-741. doi:10.1016/S1474-4422(06)70537-3

5. Cui Y, Liu B, Luo S u.c.; Alcheimera slimības neiroattēlveidošanas iniciatīva. Pārvēršanās no viegliem kognitīviem traucējumiem uz Alcheimera slimību identificēšana, izmantojot daudzfaktoru prognozētājus. PLoS One.

6. Lin M, Gong P, Yang T, Ye J, Albin RL, Dodge HH. Lielo datu analītiskās pieejas NACC datu kopai: palīdzot bagātināt preklīniskos pētījumus. Alcheimera Dis Assoc traucējumi. 2018;32(1):18-27.

7. Park JH, Cho HE, Kim JH u.c. Mašīnmācīšanās prognoze par Alcheimera slimības sastopamību, izmantojot liela mēroga administratīvos veselības datus. NPJ Digit Med. 2020; 3(1):46.

8. Zhan Y, Chen K, Wu X u.c.; Alcheimera slimības neiroattēlveidošanas iniciatīva. Pārvēršanās no normālas vecāka gadagājuma izziņas uz Alcheimera slimību identifikācija, izmantojot multimodālo atbalsta vektora iekārtu.J Alzheimers Dis. 2015. gads; 47(4):1057-1067.

9. Burgos N, Colliot O. Mašīnmācība smadzeņu slimību klasifikācijai un prognozēšanai: jaunākie sasniegumi un gaidāmās problēmas. Curr Opin Neurol. 2020;33(4):439-450.

10. Beekly DL, Ramos EM, Lee WW u.c.; NIA Alcheimera slimības centri. Nacionālā Alcheimera koordinācijas centra (NACC) datu bāze: vienotā datu kopa. Alcheimera Dis Assoc traucējumi. 2007;21(3):249-258.

11. Nacionālais novecošanas institūts. Alcheimera slimības izpētes centri. Skatīts 2021. gada 21. maijā.

12. Pfeffer RI, Kurosaki TT, Harrah CH Jr, Chance JM, Filos S. Funkcionālo aktivitāšu mērīšana gados vecākiem pieaugušajiem sabiedrībā. Dž. Gerontols. 1982;37(3):323-329.

13. Kaufer DI, Cummings JL, Ketchel P u.c. NPI-Q, neiropsihiatriskā inventāra īsas klīniskās formas, apstiprināšana. J Neiropsihiatrija Clin Neurosci. 2000;12(2):233-239.

14. Weintraub S, Salmon D, Mercaldo N u.c. Alcheimera slimības centru vienotā datu kopa (UDS): neiropsiholoģiskā testa akumulators. Alcheimera Dis Assoc traucējumi. 2009;23(2):91-101.

15. Moris JC, Weintraub S, Chui HC u.c. Vienotā datu kopa (UDS): klīniskie un kognitīvie mainīgie un aprakstošie dati no Alcheimera slimības centriem. Alcheimera Dis Assoc traucējumi. 2006;20(4):210-216.

16. McKhann G, Drachman D, Folstein M, Katzman R, Price D, Stadlan EM. Alcheimera slimības klīniskā diagnoze: NINCDS-ADRDA darba grupas ziņojums Veselības un cilvēku pakalpojumu departamenta Alcheimera slimības darba grupas aizgādībā. Neiroloģija. 1984;34(7):939-944.

17. Román GC, Tatemichi TK, Erkinjuntti T u.c. Asinsvadu demence: pētījumu diagnostikas kritēriji: NINDS-AIREN starptautiskā semināra ziņojums. Neiroloģija. 1993;43(2):250-260.

18. McKeith IG, Dickson DW, Lowe J u.c.; DLB konsorcijs. Demences diagnostika un pārvaldība ar Lewy ķermeņiem: DLB konsorcija trešais ziņojums. Neiroloģija.

19. Neary D, Snowden JS, Gustafson L u.c. Frontotemporālā daivas deģenerācija: vienprātība par klīniskās diagnostikas kritērijiem. Neiroloģija. 1998;51(6):1546-1554.

20. Martiness-Martins P, Gils-Nagels A, Gracia LM, Gómez JB, Martinez-Sarriés J, Bermejo F; Kooperatīvā daudzcentriskā grupa. Vienotās Parkinsona slimības reitinga skalas īpašības un struktūra. Mov traucējumi. 1994;9 (1):76-83.

21. Moriss JC. Klīniskais demences novērtējums: uzticams un derīgs Alcheimera tipa demences diagnostikas un stadijas noteikšanas pasākums. Int Psychogeriatr. 1997;9(S1)(suppl 1):173-176.

22. Hastie T, Tibshirani R, Friedman J. Statistikas mācīšanās elementi: datu ieguve, secinājumi un prognozēšana. Springer Science & Business Media; 2009. gads.

23. Hosmer Jr DW, Lemeshow S, Sturdivant RX. Lietišķā loģistikas regresija. John Wiley & Sons; 2013. gads.

24. Cortes C, Vapnik V. Atbalsta vektoru tīkli. Mach Learn. 1995;20(3):273-97. doi: 10.1007/BF00994018

25. Breimanis L. Nejaušie meži. Mach Learn. 2001;45(1):5-32. doi:10.1023/A:1010933404324

26. Ho TK. Izlases lēmumu meži. In: Proceedings of the 3rd International Conference on Document Analysis and Recognition. IEEE; 1995:278-282.

27. Frīdmens Dž. Stohastiskā gradienta palielināšana. Aprēķinu statistikas datu analīze. 2002. gads; 38(4):367-78.

28. Pedregosa F, Varoquaux G, Gramfort A, et al, Scikit-learn: mašīnmācība Python. J Mach Learn Res. 2011. gads; 12:2825-2830.

29. Krzanovskis WJ, Rokas dīdžejs. ROC līknes nepārtrauktiem datiem. CRC Press; 2009. gads.

30. Fawcett, T. Ievads ROC analīzē. Pattern Recognition Lett. 2006;27(8):861-874. doi:10.1016/j. Patriks.2005.10.010

31. Ranson JM, Kuźma E, Hamilton W, Muniz-Terrera G, Langa KM, Llewellyn DJ. Demences nepareizas klasifikācijas prognozētāji, izmantojot īsus kognitīvos novērtējumus. Neirol Clin prakse. 2019;9(2):109-117.

32. Bruscoli M, Lovestone S. Vai MCI patiešām ir tikai agrīna demence: sistemātisks konversijas pētījumu pārskats. Int Psychogeriatr. 2004;16(2):129-140.

33. Farias ST, Mungas D, Reed BR, Harvey D, DeCarli C. Vieglu kognitīvo traucējumu progresēšana uz demenci klīnikā vs sabiedrībā balstītas kohortas. Arch Neirol. 2009;66(9):1151-1157.

34. Guan D, Yuan W, Ma T, Khattak AM, Chow F. Izmaksu jutīga nepareizi marķētu apmācības datu likvidēšana. Inf Sci. 2017. gads; 402:170-81.

35. Brodlijs CE, Frīdls, MA. Kļūdaini marķētu treniņu datu identificēšana.J Artif Intelligence Res.

36. Kvinlans Dž. Lēmumu koku indukcija. Mach Learn. 1986;1(1):81-106.

37. Brodlijs CE, Frīdls, MA. Nepareizi marķētu apmācības gadījumu identificēšana un novēršana. In: AAAI '96: Trīspadsmitās nacionālās mākslīgā intelekta konferences materiāli. AAAI; 1996:799-805.

38. Brodlijs CE, Frīdls, MA. Automatizētas zemes seguma kartēšanas uzlabošana, identificējot un novēršot nepareizi marķētus novērojumus no apmācības datiem. In: IGARSS '96: 1996 Starptautiskais ģeozinātnes un attālās izpētes simpozijs. IEEE;1996:1379-1381.