Tak fordi du besøgte Nature.com.Du bruger en browserversion med begrænset CSS-understøttelse.For den bedste oplevelse anbefaler vi, at du bruger en opdateret browser (eller deaktiverer kompatibilitetstilstand i Internet Explorer).For at sikre fortsat support viser vi desuden siden uden stilarter og JavaScript.
Sliders, der viser tre artikler pr. slide.Brug tilbage- og næste-knapperne til at flytte gennem diasene, eller dias-controllerknapperne i slutningen til at flytte gennem hvert dias.
Optisk kohærens tomografisk angiografi (OCTA) er en ny metode til ikke-invasiv visualisering af nethindekar.Selvom OCTA har mange lovende kliniske anvendelser, er det stadig en udfordring at bestemme billedkvaliteten.Vi udviklede et dybt læringsbaseret system ved hjælp af ResNet152 neural netværksklassificeringsapparatet, der er fortrænet med ImageNet til at klassificere overfladiske kapillære plexusbilleder fra 347 scanninger af 134 patienter.Billederne blev også manuelt vurderet som sand sandhed af to uafhængige bedømmere for en overvåget læringsmodel.Da billedkvalitetskravene kan variere afhængigt af kliniske eller forskningsmæssige indstillinger, blev to modeller trænet, den ene til billedgenkendelse af høj kvalitet og den anden til billedgenkendelse af lav kvalitet.Vores neurale netværksmodel viser et fremragende område under kurven (AUC), 95% CI 0,96-0,99, \(\kappa\) = 0,81), hvilket er væsentligt bedre end signalniveauet rapporteret af maskinen (AUC = 0,82, 95 % CI).0,77-0,86, \(\kappa\) = 0,52 og AUC = 0,78, henholdsvis 95 % CI 0,73-0,83, \(\kappa\) = 0,27).Vores undersøgelse viser, at maskinlæringsmetoder kan bruges til at udvikle fleksible og robuste kvalitetskontrolmetoder til OCTA-billeder.
Optisk kohærens tomografisk angiografi (OCTA) er en relativt ny teknik baseret på optisk kohærens tomografi (OCT), der kan bruges til ikke-invasiv visualisering af nethindens mikrovaskulatur.OCTA måler forskellen i refleksionsmønstre fra gentagne lysimpulser i det samme område af nethinden, og rekonstruktioner kan derefter beregnes til at afsløre blodkar uden invasiv brug af farvestoffer eller andre kontrastmidler.OCTA muliggør også vaskulær billeddannelse i dybdeopløsning, hvilket giver klinikere mulighed for separat at undersøge overfladiske og dybe karlag, hvilket hjælper med at skelne mellem chorioretinal sygdom.
Selvom denne teknik er lovende, er variation i billedkvalitet stadig en stor udfordring for pålidelig billedanalyse, hvilket gør billedfortolkning vanskelig og forhindrer udbredt klinisk adoption.Fordi OCTA bruger flere på hinanden følgende OCT-scanninger, er den mere følsom over for billedartefakter end standard OCT.De fleste kommercielle OCTA-platforme leverer deres egen billedkvalitetsmåling kaldet Signal Strength (SS) eller nogle gange Signal Strength Index (SSI).Billeder med en høj SS- eller SSI-værdi garanterer dog ikke fraværet af billedartefakter, som kan påvirke enhver efterfølgende billedanalyse og føre til forkerte kliniske beslutninger.Almindelige billedartefakter, der kan forekomme i OCTA-billeddannelse, omfatter bevægelsesartefakter, segmenteringsartefakter, medieopacitetsartefakter og projektionsartefakter1,2,3.
Da OCTA-afledte målinger såsom vaskulær tæthed i stigende grad bliver brugt i translationel forskning, kliniske forsøg og klinisk praksis, er der et presserende behov for at udvikle robuste og pålidelige billedkvalitetskontrolprocesser for at eliminere billedartefakter4.Skip-forbindelser, også kendt som resterende forbindelser, er projektioner i neural netværksarkitektur, der tillader information at omgå foldningslag, mens information lagres i forskellige skalaer eller opløsninger5.Fordi billedartefakter kan påvirke billedydelse i lille skala og generel storskala, er neurale netværk med skip-forbindelse velegnede til at automatisere denne kvalitetskontrolopgave5.For nylig offentliggjorte arbejde har vist noget løfte for dybe foldede neurale netværk trænet ved hjælp af data af høj kvalitet fra menneskelige estimatorer6.
I denne undersøgelse træner vi et forbindelses-springende foldningsneuralt netværk til automatisk at bestemme kvaliteten af ​​OCTA-billeder.Vi bygger videre på tidligere arbejde ved at udvikle separate modeller til at identificere billeder af høj kvalitet og billeder af lav kvalitet, da billedkvalitetskravene kan være forskellige for specifikke kliniske eller forskningsscenarier.Vi sammenligner resultaterne af disse netværk med konvolutionelle neurale netværk uden manglende forbindelser for at evaluere værdien af ​​at inkludere funktioner på flere niveauer af granularitet inden for deep learning.Derefter sammenlignede vi vores resultater med signalstyrke, et almindeligt accepteret mål for billedkvalitet leveret af producenter.
Vores undersøgelse omfattede patienter med diabetes, som deltog i Yale Eye Center mellem 11. august 2017 og 11. april 2019. Patienter med enhver ikke-diabetisk chorioretinal sygdom blev udelukket.Der var ingen inklusions- eller eksklusionskriterier baseret på alder, køn, race, billedkvalitet eller nogen anden faktor.
OCTA-billeder blev erhvervet ved hjælp af AngioPlex-platformen på en Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) under 8\(\ gange\) 8 mm og 6\(\ gange\) 6 mm billeddannelsesprotokoller.Informeret samtykke til deltagelse i undersøgelsen blev opnået fra hver undersøgelsesdeltager, og Yale University Institutional Review Board (IRB) godkendte brugen af ​​informeret samtykke med global fotografering for alle disse patienter.Efter principperne i Helsinki-erklæringen.Undersøgelsen blev godkendt af Yale University IRB.
Overfladepladebilleder blev evalueret baseret på den tidligere beskrevne Motion Artifact Score (MAS), den tidligere beskrevne Segmentation Artifact Score (SAS), fovealcentret, tilstedeværelsen af ​​medieopacitet og god visualisering af små kapillærer som bestemt af billedevaluatoren.Billederne blev analyseret af to uafhængige evaluatorer (RD og JW).Et billede har en karakter på 2 (kvalificeret), hvis alle følgende kriterier er opfyldt: billedet er centreret ved fovea (mindre end 100 pixels fra midten af ​​billedet), MAS er 1 eller 2, SAS er 1, og mediets opacitet er mindre end 1. Til stede på billeder i størrelse / 16, og små kapillærer ses på billeder større end 15/16.Et billede er vurderet til 0 (ingen vurdering), hvis et af følgende kriterier er opfyldt: billedet er off-center, hvis MAS er 4, hvis SAS er 2, eller den gennemsnitlige opacitet er større end 1/4 af billedet, og de små kapillærer kan ikke justeres mere end 1 billede /4 for at skelne.Alle andre billeder, der ikke opfylder scoringskriterierne 0 eller 2, bedømmes som 1 (klip).
På fig.1 viser eksempelbilleder for hver af de skalerede estimater og billedartefakter.Inter-rater reliabilitet af individuelle scores blev vurderet ved Cohens kappa vægtning8.De individuelle karakterer for hver bedømmer summeres for at opnå en samlet score for hvert billede, der spænder fra 0 til 4. Billeder med en samlet score på 4 anses for at være gode.Billeder med en samlet score på 0 eller 1 betragtes som lav kvalitet.
Et ResNet152-arkitektur foldet neuralt netværk (fig. 3A.i), der er præ-trænet på billeder fra ImageNet-databasen, blev genereret ved hjælp af fast.ai og PyTorch framework5, 9, 10, 11. Et foldet neuralt netværk er et netværk, der bruger det lærte filtre til scanning af billedfragmenter for at studere rumlige og lokale funktioner.Vores trænede ResNet er et 152-lags neuralt netværk karakteriseret ved huller eller "restforbindelser", der samtidigt transmitterer information med flere opløsninger.Ved at projicere information i forskellige opløsninger over netværket kan platformen lære funktionerne i lavkvalitetsbilleder på flere detaljeringsniveauer.Ud over vores ResNet-model trænede vi også AlexNet, en velundersøgt neural netværksarkitektur, uden at mangle forbindelser til sammenligning (Figur 3A.ii)12.Uden manglende forbindelser vil dette netværk ikke være i stand til at fange funktioner med en højere granularitet.
Det originale 8\(\gange\)8mm OCTA13 billedsæt er blevet forbedret ved hjælp af vandrette og lodrette refleksteknikker.Det fulde datasæt blev derefter tilfældigt opdelt på billedniveau i træning (51,2%), test (12,8%), hyperparameterjustering (16%) og validering (20%) datasæt ved hjælp af scikit-learn værktøjskassen python14.To tilfælde blev overvejet, det ene baseret på kun at detektere billederne af den højeste kvalitet (samlet score 4) og det andet baseret på kun at detektere billederne af den laveste kvalitet (samlet score 0 eller 1).For hver brugscase af høj kvalitet og lav kvalitet genoptrænes det neurale netværk én gang på vores billeddata.I hvert tilfælde blev det neurale netværk trænet i 10 epoker, alle undtagen de højeste lagvægte blev frosset, og vægten af ​​alle interne parametre blev indlært i 40 epoker ved hjælp af en diskriminerende indlæringshastighedsmetode med en krydsentropitabsfunktion 15, 16..Tværentropitabsfunktionen er et mål for den logaritmiske skala af uoverensstemmelsen mellem forudsagte netværksetiketter og reelle data.Under træning udføres gradientnedstigning på de interne parametre i det neurale netværk for at minimere tab.Indlæringshastigheden, frafaldsraten og vægtreduktionshyperparametrene blev indstillet ved hjælp af Bayesiansk optimering med 2 tilfældige startpunkter og 10 iterationer, og AUC på datasættet blev indstillet ved hjælp af hyperparametrene som et mål på 17.
Repræsentative eksempler på 8 × 8 mm OCTA-billeder af overfladiske kapillære plexuser scorede 2 (A, B), 1 (C, D) og 0 (E, F).De viste billedartefakter inkluderer flimrende linjer (pile), segmenteringsartefakter (stjerner) og medieopacitet (pile).Billedet (E) er også off-center.
Receiver operating characteristics (ROC)-kurver genereres derefter for alle neurale netværksmodeller, og motorsignalstyrkerapporter genereres for hver brugscase af lav kvalitet og høj kvalitet.Areal under kurven (AUC) blev beregnet ved hjælp af pROC R-pakken, og 95 % konfidensintervaller og p-værdier blev beregnet ved hjælp af DeLong-metoden18,19.De kumulative scores af de menneskelige bedømmere bruges som udgangspunkt for alle ROC-beregninger.For den signalstyrke, der blev rapporteret af maskinen, blev AUC beregnet to gange: én gang for højkvalitets Scalability Score cutoff og én gang for lav kvalitet Scalability Score cutoff.Det neurale netværk sammenlignes med AUC-signalstyrken, hvilket afspejler dets egne trænings- og evalueringsforhold.
For yderligere at teste den trænede dybe læringsmodel på et separat datasæt, blev højkvalitets- og lavkvalitetsmodeller direkte anvendt til præstationsevaluering af 32 fuldflade 6\(\ gange\) 6 mm overfladepladebilleder indsamlet fra Yale University.Øjenmasse centreres samtidig med billedet 8 \(\ gange \) 8 mm.6\(\×\) 6 mm billederne blev manuelt vurderet af de samme bedømmere (RD og JW) på samme måde som 8\(\×\) 8 mm billederne, AUC blev beregnet såvel som nøjagtighed og Cohens kappa .ligeligt .
Klasseubalanceforholdet er 158:189 (\(\rho = 1,19\)) for lavkvalitetsmodellen og 80:267 (\(\rho = 3,3\)) for højkvalitetsmodellen.Fordi klasseubalanceforholdet er mindre end 1:4, er der ikke foretaget specifikke arkitektoniske ændringer for at rette klasseubalance20,21.
For bedre at visualisere læringsprocessen blev der genereret klasseaktiveringskort for alle fire trænede dybe læringsmodeller: højkvalitets ResNet152-model, lavkvalitets ResNet152-model, højkvalitets AlexNet-model og lavkvalitets AlexNet-model.Klasseaktiveringskort genereres fra input-foldningslagene i disse fire modeller, og varmekort genereres ved at overlejre aktiveringskort med kildebilleder fra 8 × 8 mm og 6 × 6 mm valideringssæt22, 23.
R-version 4.0.3 blev brugt til alle statistiske beregninger, og visualiseringer blev oprettet ved hjælp af ggplot2-grafikværktøjsbiblioteket.
Vi indsamlede 347 frontale billeder af den overfladiske kapillære plexus, der målte 8 \(\ gange \)8 mm fra 134 personer.Maskinen rapporterede signalstyrke på en skala fra 0 til 10 for alle billeder (gennemsnit = 6,99 ± 2,29).Af de 347 opnåede billeder var gennemsnitsalderen ved undersøgelsen 58,7 ± 14,6 år, og 39,2 % var fra mandlige patienter.Af alle billeder var 30,8% fra kaukasiere, 32,6% fra sorte, 30,8% fra latinamerikanere, 4% fra asiater og 1,7% fra andre racer (tabel 1).).Aldersfordelingen af ​​patienter med OCTA var signifikant forskellig afhængig af kvaliteten af ​​billedet (p < 0,001).Procentdelen af ​​billeder af høj kvalitet hos yngre patienter i alderen 18-45 år var 33,8 % sammenlignet med 12,2 % af billeder af lav kvalitet (tabel 1).Fordelingen af ​​status for diabetisk retinopati varierede også signifikant i billedkvalitet (p < 0,017).Blandt alle billeder af høj kvalitet var procentdelen af ​​patienter med PDR 18,8 % sammenlignet med 38,8 % af alle billeder af lav kvalitet (tabel 1).
Individuelle vurderinger af alle billeder viste moderat til stærk inter-rating pålidelighed mellem mennesker, der læste billederne (Cohens vægtede kappa = 0,79, 95% CI: 0,76-0,82), og der var ingen billedpunkter, hvor bedømmerne adskilte sig med mere end 1 (fig. 2A)..Signalintensitet korrelerede signifikant med manuel scoring (Pearson produktmomentkorrelation = 0,58, 95 % CI 0,51-0,65, p<0,001), men mange billeder blev identificeret som havende høj signalintensitet, men lav manuel scoring (fig. 2B).
Under træningen af ​​ResNet152- og AlexNet-arkitekturerne falder krydsentropi-tabet ved validering og træning over 50 epoker (figur 3B,C).Valideringsnøjagtigheden i den afsluttende træningsepoke er over 90 % for både højkvalitets- og lavkvalitetsbrug.
Modtagerens ydeevnekurver viser, at ResNet152-modellen markant overgår den signalstyrke, der rapporteres af maskinen i både lav- og højkvalitetstilfælde (p < 0,001).ResNet152-modellen overgår også markant AlexNet-arkitekturen (p = 0,005 og p = 0,014 for henholdsvis lavkvalitets- og højkvalitetssager).De resulterende modeller for hver af disse opgaver var i stand til at opnå AUC-værdier på henholdsvis 0,99 og 0,97, hvilket er væsentligt bedre end de tilsvarende AUC-værdier på 0,82 og 0,78 for maskinens signalstyrkeindeks eller 0,97 og 0,94 for AlexNet ..(Fig. 3).Forskellen mellem ResNet og AUC i signalstyrke er højere ved genkendelse af billeder i høj kvalitet, hvilket indikerer yderligere fordele ved at bruge ResNet til denne opgave.
Graferne viser hver uafhængig vurderers evne til at score og sammenligne med signalstyrken rapporteret af maskinen.(A) Summen af ​​de point, der skal bedømmes, bruges til at skabe det samlede antal point, der skal bedømmes.Billeder med en samlet skalerbarhedsscore på 4 tildeles høj kvalitet, mens billeder med en samlet skalerbarhedsscore på 1 eller mindre tildeles lav kvalitet.(B) Signalintensitet korrelerer med manuelle estimater, men billeder med høj signalintensitet kan være af dårligere kvalitet.Den røde stiplede linje angiver producentens anbefalede kvalitetstærskel baseret på signalstyrke (signalstyrke \(\ge\)6).
ResNet-overførselsindlæring giver en betydelig forbedring af billedkvalitetsidentifikation for både lavkvalitets- og højkvalitetsbrugstilfælde sammenlignet med maskinrapporterede signalniveauer.(A) Forenklede arkitekturdiagrammer af præ-trænede (i) ResNet152 og (ii) AlexNet arkitekturer.(B) Træningshistorik og modtagerpræstationskurver for ResNet152 sammenlignet med maskinrapporteret signalstyrke og AlexNet lavkvalitetskriterier.(C) ResNet152 modtager træningshistorik og præstationskurver sammenlignet med maskinrapporteret signalstyrke og AlexNet højkvalitetskriterier.
Efter justering af beslutningsgrænsetærsklen er den maksimale forudsigelsesnøjagtighed for ResNet152-modellen 95,3 % for tilfælde af lav kvalitet og 93,5 % for tilfælde af høj kvalitet (tabel 2).Den maksimale forudsigelsesnøjagtighed for AlexNet-modellen er 91,0 % for sagen af ​​lav kvalitet og 90,1 % for sagen af ​​høj kvalitet (tabel 2).Den maksimale nøjagtighed for forudsigelse af signalstyrke er 76,1 % for brugssagen af ​​lav kvalitet og 77,8 % for brugssagen af ​​høj kvalitet.Ifølge Cohens kappa (\(\kappa\)) er overensstemmelsen mellem ResNet152-modellen og estimatorerne 0,90 for lavkvalitetstilfældet og 0,81 for højkvalitetstilfælde.Cohens AlexNet kappa er 0,82 og 0,71 for henholdsvis lav kvalitet og høj kvalitet use cases.Cohens signalstyrke kappa er 0,52 og 0,27 for henholdsvis lav- og højkvalitetsbrug.
Validering af høj- og lavkvalitetsgenkendelsesmodeller på 6\(\x\) billeder af en 6 mm flad plade demonstrerer den trænede models evne til at bestemme billedkvaliteten på tværs af forskellige billeddannelsesparametre.Ved brug af 6\(\x\) 6 mm lavvandede plader til billedkvalitet havde lavkvalitetsmodellen en AUC på 0,83 (95 % CI: 0,69-0,98), og højkvalitetsmodellen havde en AUC på 0,85.(95 % CI: 0,55-1,00) (tabel 2).
Visuel inspektion af inputlagets klasseaktiveringskort viste, at alle trænede neurale netværk brugte billedfunktioner under billedklassificering (fig. 4A, B).For 8 \(\ gange \) 8 mm og 6 \(\ gange \) 6 mm billeder følger ResNet-aktiveringsbillederne tæt nethindens vaskulatur.AlexNet aktiveringskort følger også nethindekar, men med grovere opløsning.
Klasseaktiveringskortene for ResNet152- og AlexNet-modellerne fremhæver funktioner relateret til billedkvalitet.(A) Klasseaktiveringskort, der viser sammenhængende aktivering efter overfladisk retinal vaskulatur på 8 \(\ gange \) 8 mm valideringsbilleder og (B) udstrækning på mindre 6 \(\ gange \) 6 mm valideringsbilleder.LQ-model trænet på lave kvalitetskriterier, HQ-model trænet på højkvalitetskriterier.
Det har tidligere vist sig, at billedkvalitet i høj grad kan påvirke enhver kvantificering af OCTA-billeder.Derudover øger tilstedeværelsen af ​​retinopati forekomsten af ​​billedartefakter7,26.Faktisk fandt vi i vores data, i overensstemmelse med tidligere undersøgelser, en signifikant sammenhæng mellem stigende alder og sværhedsgrad af nethindesygdom og forringelse af billedkvalitet (p < 0,001, p = 0,017 for henholdsvis alder og DR-status; tabel 1) 27 Derfor er det afgørende at vurdere billedkvaliteten, før du udfører nogen kvantitativ analyse af OCTA-billeder.De fleste undersøgelser, der analyserer OCTA-billeder, bruger maskinrapporterede signalintensitetstærskler for at udelukke billeder af lav kvalitet.Selvom signalintensitet har vist sig at påvirke kvantificeringen af ​​OCTA-parametre, er høj signalintensitet muligvis ikke tilstrækkelig til at udelukke billeder med billedartefakter2,3,28,29.Derfor er det nødvendigt at udvikle en mere pålidelig metode til billedkvalitetskontrol.Til dette formål evaluerer vi ydeevnen af ​​overvågede deep learning-metoder i forhold til signalstyrken rapporteret af maskinen.
Vi har udviklet flere modeller til evaluering af billedkvalitet, fordi forskellige OCTA-brugstilfælde kan have forskellige billedkvalitetskrav.For eksempel skal billeder være af højere kvalitet.Derudover er specifikke kvantitative parametre af interesse også vigtige.For eksempel afhænger området af den foveale avaskulær zone ikke af uklarheden af ​​det ikke-centrale medium, men påvirker tætheden af ​​karrene.Mens vores forskning fortsat fokuserer på en generel tilgang til billedkvalitet, ikke bundet til kravene i en bestemt test, men beregnet til direkte at erstatte signalstyrken rapporteret af maskinen, håber vi at give brugerne en større grad af kontrol, så de kan vælge den specifikke metric af interesse for brugeren.vælg en model, der svarer til den maksimale grad af billedartefakter, der anses for acceptable.
For scener af lav kvalitet og høj kvalitet viser vi fremragende ydeevne af forbindelsesmanglende dybe foldede neurale netværk med AUC'er på henholdsvis 0,97 og 0,99 og modeller af lav kvalitet.Vi demonstrerer også den overlegne ydeevne af vores deep learning-tilgang sammenlignet med signalniveauer, der kun rapporteres af maskiner.Skip-forbindelser gør det muligt for neurale netværk at lære funktioner på flere detaljeringsniveauer, der fanger finere aspekter af billeder (f.eks. kontrast) såvel som generelle funktioner (f.eks. billedcentrering30,31).Da billedartefakter, der påvirker billedkvaliteten, sandsynligvis bedst identificeres over et bredt område, kan neurale netværksarkitekturer med manglende forbindelser udvise bedre ydeevne end dem uden billedkvalitetsbestemmelsesopgaver.
Da vi testede vores model på 6\(\×6 mm) OCTA-billeder, bemærkede vi et fald i klassificeringsydelsen for både højkvalitets- og lavkvalitetsmodeller (fig. 2), i modsætning til størrelsen af ​​den model, der er trænet til klassificering.Sammenlignet med ResNet-modellen har AlexNet-modellen et større fald.Den relativt bedre ydeevne af ResNet kan skyldes restforbindelsernes evne til at transmittere information i flere skalaer, hvilket gør modellen mere robust til at klassificere billeder optaget i forskellige skalaer og/eller forstørrelser.
Nogle forskelle mellem 8 \(\×\) 8 mm billeder og 6 \(\×\) 6 mm billeder kan føre til dårlig klassificering, herunder en relativt høj andel af billeder, der indeholder foveale avaskulær områder, ændringer i synlighed, vaskulære arkader og ingen synsnerve på billedet 6×6 mm.På trods af dette var vores ResNet-model af høj kvalitet i stand til at opnå en AUC på 85 % for 6 \(\x\) 6 mm billeder, en konfiguration, som modellen ikke var trænet til, hvilket tyder på, at billedkvalitetsinformationen er kodet i det neurale netværk er egnet.for én billedstørrelse eller maskinkonfiguration uden for dens træning (tabel 2).Det er betryggende, at ResNet- og AlexNet-lignende aktiveringskort på 8 \(\ gange \) 8 mm og 6 \(\ gange \) 6 mm billeder var i stand til at fremhæve retinale kar i begge tilfælde, hvilket tyder på, at modellen har vigtig information.er anvendelige til at klassificere begge typer OCTA-billeder (fig. 4).
Lauerman et al.Billedkvalitetsvurdering på OCTA-billeder blev på lignende måde udført ved hjælp af Inception-arkitekturen, et andet skip-connection-konvolutionelt neuralt netværk6,32 ved hjælp af deep learning-teknikker.De begrænsede også undersøgelsen til billeder af den overfladiske kapillære plexus, men kun ved at bruge de mindre 3×3 mm billeder fra Optovue AngioVue, selvom patienter med forskellige chorioretinale sygdomme også blev inkluderet.Vores arbejde bygger på deres grundlag, herunder flere modeller for at adressere forskellige billedkvalitetstærskler og validere resultater for billeder af forskellige størrelser.Vi rapporterer også AUC-metrikken for maskinlæringsmodeller og øger deres allerede imponerende nøjagtighed (90 %)6 for modeller af både lav kvalitet (96 %) og høj kvalitet (95,7 %)6.
Denne træning har flere begrænsninger.Først blev billederne erhvervet med kun én OCTA-maskine, inklusive kun billeder af den overfladiske kapillære plexus ved 8\(\gange\)8 mm og 6\(\gange\)6 mm.Årsagen til at udelukke billeder fra dybere lag er, at projektionsartefakter kan gøre manuel evaluering af billeder vanskeligere og muligvis mindre konsistent.Ydermere er billeder kun blevet erhvervet hos diabetespatienter, for hvem OCTA er ved at fremstå som et vigtigt diagnostisk og prognostisk værktøj33,34.Selvom vi var i stand til at teste vores model på billeder af forskellige størrelser for at sikre, at resultaterne var robuste, var vi ikke i stand til at identificere passende datasæt fra forskellige centre, hvilket begrænsede vores vurdering af modellens generaliserbarhed.Selvom billederne kun blev opnået fra ét center, blev de opnået fra patienter med forskellig etnisk og racemæssig baggrund, hvilket er en unik styrke ved vores undersøgelse.Ved at inkludere mangfoldighed i vores træningsproces håber vi, at vores resultater vil blive generaliseret i bredere forstand, og at vi undgår at indkode racemæssige skævheder i de modeller, vi træner.
Vores undersøgelse viser, at forbindelses-springende neurale netværk kan trænes til at opnå høj ydeevne til at bestemme OCTA-billedkvalitet.Vi leverer disse modeller som værktøjer til yderligere forskning.Fordi forskellige metrikker kan have forskellige billedkvalitetskrav, kan der udvikles en individuel kvalitetskontrolmodel for hver metrik ved hjælp af den struktur, der er etableret her.
Fremtidig forskning bør omfatte billeder af forskellige størrelser fra forskellige dybder og forskellige OCTA-maskiner for at opnå en dyb læringsproces til billedkvalitetsevaluering, som kan generaliseres til OCTA-platforme og billedbehandlingsprotokoller.Nuværende forskning er også baseret på overvågede deep learning-tilgange, der kræver menneskelig evaluering og billedevaluering, hvilket kan være arbejdskrævende og tidskrævende for store datasæt.Det er endnu uvist, om uovervågede deep learning-metoder i tilstrækkelig grad kan skelne mellem billeder af lav kvalitet og billeder af høj kvalitet.
Efterhånden som OCTA-teknologien fortsætter med at udvikle sig, og scanningshastighederne øges, kan forekomsten af ​​billedartefakter og billeder af dårlig kvalitet falde.Forbedringer i softwaren, såsom den nyligt introducerede funktion til fjernelse af projektionsartefakter, kan også afhjælpe disse begrænsninger.Der er dog stadig mange problemer, da billeddannelse af patienter med dårlig fiksering eller betydelig medieturbiditet uvægerligt resulterer i billedartefakter.Efterhånden som OCTA bliver mere udbredt i kliniske forsøg, er det nødvendigt nøje at overveje at etablere klare retningslinjer for acceptable billedartefaktniveauer til billedanalyse.Anvendelsen af ​​deep learning-metoder til OCTA-billeder lover meget, og der er behov for yderligere forskning på dette område for at udvikle en robust tilgang til billedkvalitetskontrol.
Koden, der bruges i den aktuelle forskning, er tilgængelig i octa-qc-depotet, https://github.com/rahuldhodapkar/octa-qc.Datasæt genereret og/eller analyseret i løbet af den aktuelle undersøgelse er tilgængelige fra de respektive forfattere efter rimelig anmodning.
Spaide, RF, Fujimoto, JG & Waheed, NK Billedartefakter i optisk kohærensangiografi.Retina 35, 2163-2180 (2015).
Fenner, BJ et al.Identifikation af billeddannende funktioner, der bestemmer kvaliteten og reproducerbarheden af ​​retinal kapillær plexus tæthed målinger i OCT angiografi.BR.J. Ophthalmol.102, 509-514 (2018).
Lauerman, JL et al.Indflydelse af eye-tracking-teknologi på billedkvaliteten af ​​OCT-angiografi i aldersrelateret makuladegeneration.Gravbue.klinisk.Exp.oftalmologi.255, 1535-1542 (2017).
Babyuch AS et al.OCTA kapillær perfusionsdensitetsmålinger bruges til at detektere og evaluere makulær iskæmi.oftalmisk kirurgi.Retinal Laser Imaging 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. og Sun, J. Deep Residual Learning for Image Recognition.I 2016 ved IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL et al.Automatiseret OCT angiografisk billedkvalitetsvurdering ved hjælp af deep learning algoritmer.Gravbue.klinisk.Exp.oftalmologi.257, 1641-1648 (2019).
Lauermann, J. et al.Forekomsten af ​​segmenteringsfejl og bevægelsesartefakter i OCT-angiografi afhænger af sygdommen i nethinden.Gravbue.klinisk.Exp.oftalmologi.256, 1807-1816 (2018).
Pask, Adam et al.Pytorch: Et imperativt, højtydende Deep Learning-bibliotek.Avanceret behandling af neurale informationer.system.32, 8026-8037 (2019).
Deng, J. et al.ImageNet: En hierarkisk billeddatabase i stor skala.2009 IEEE-konference om computersyn og mønstergenkendelse.248-255.(2009).
Krizhevsky A., Sutzkever I. og Hinton GE Imagenet-klassificering ved hjælp af dybe konvolutionelle neurale netværk.Avanceret behandling af neurale informationer.system.25, 1 (2012).