Eerste resultaten Oog voor Diabetes gepubliceerd
“De performantie van het computermodel steeg met 44%”
De eerste resultaten van het Oog voor Diabetes-project werden gepubliceerd in het proefschrift van Axel-Jan Rousseau, vers afgestudeerd als master in de artificiële intelligentie aan de KU Leuven. Voor zijn thesis werd hij begeleid door Bart Elen, onderzoeker bij de onderzoeksinstelling VITO en gespecialiseerd in de analyse van medische beelden. We laten Axel-Jan Rousseau en Bart Elen aan het woord om de resultaten te bespreken.
Beide heren kennen elkaar al even, want Bart was ook de begeleider van het eerste proefschrift van Axel-Jan.
“Ik had mijn eerste thesis ook geschreven over deep learning en retinabeelden bij VITO – en toen kreeg ik de smaak te pakken en besloot ik om een master-na-master te doen in artificiële intelligentie.”
Voor het tweede proefschrift onderzocht Axel-Jan of burgerwetenschappers, door het annoteren van retinabeelden op laesies (of oogbeschadigingen), kunnen helpen in het trainen van computermodellen om diabetische retinopathie te detecteren. Diabetische retinopathie is een complicatie van diabetes waarbij de retina of het netvlies wordt aangetast, wat kan leiden tot blindheid. Om oogartsen te helpen bij de screening van retinabeelden worden momenteel computermodellen ontwikkeld om diagnoses te versnellen en betrouwbaarder te maken. Axel-Jan legt uit dat hij voor de training van deze computermodellen de techniek van deep learning toepaste.
“Je kan dit eenvoudigweg omschrijven als het aanbieden van afbeeldingen aan een computer, waarbij je aangeeft wat de computer specifiek moet herkennen zodat het zichzelf gaat aanleren waar er verbanden zijn.”
Om een computer aan te leren wat laesies zijn, is er trainingdata nodig. Bij voorkeur heel veel data. Om te bekijken of er getraind kan worden op de labels, aangebracht door de burgerwetenschappers op het Zooniverse-platform van Oog voor Diabetes, gingen Axel-Jan en Bart aan de slag met de eerste retinabeelden die reeds geannoteerd waren. Burgerwetenschappers kunnen op het Zooniverse-platform retinabeelden bekijken en laesies labelen, zoals geïllustreerd in de afbeelding hieronder.
Via de website https://eyefordiabetes.health kan je foto’s van het netvlies bekijken en helpen bij het detecteren van laesies (oogbeschadigingen), zoals microanyeursms of haemorrhages. Je doet dit door vierkantjes of cirkels te tekenen over beschadigde gebieden op het netvlies.
“Op het moment van de analyse beschikten we over 40 geannoteerde afbeeldingen. Allereerst keken we naar de accuraatheid van de aangebrachte labels.”
Toen Axel-Jan en Bart de afbeeldingen analyseerden, merkten ze op dat burgerwetenschappers op verschillende manieren te werk gaan in het labelproces: sommige vrijwilligers tekenen grote vierkantjes of cirkels op het netvlies, andere vrijwilligers zijn veel preciezer. Ook zagen ze dat hier en daar een foutje werd gemaakt in het labelproces. Zo vergisten een aantal deelnemers zich tussen het labelen van de macula (gele vlek) of een bloeding.
“Er worden zeker fouten gemaakt, maar dat is geen probleem. We wisten dit vanaf het begin en hoeven hier geen schrik voor te hebben. We kunnen de fouten eruithalen.”
Doordat elke afbeelding op het Zooniverse-platform tien keer wordt aangeboden, worden overeenkomsten samengenomen en foutjes eruit gefilterd. Op basis van de overeenkomsten tussen de verschillende deelnemers bepaalden Axel-Jan en Bart de gemene deler, in wetenschappelijke termen ook wel de ‘ground truth’ genoemd. Vervolgens werd deze gemene deler aangeboden aan de computer om de training te starten. Axel-Jan en Bart noteerden een bevredigend resultaat.
“De performantie van het computermodel steeg met 44% wanneer er getraind werd met beelden uit deze set.”
Dit resultaat betekent dat de labels aangebracht door burgerwetenschappers effectief een computermodel kunnen trainen. Axel-Jan en Bart zijn hier best trots op, gezien meerdere wetenschappers vandaag laesies op retinafoto’s classificeren, maar zij de eerste zijn die gebruik maken van labels aangebracht door burgerwetenschappers. Bart legt uit dat het aanbrengen van labels door oogartsen een vrij duur en tijdsintensief proces is. Bovendien engageert en informeert Oog voor Diabetes mensen over het onderwerp. Verder is de dataset die momenteel gebruikt wordt ook zeer heterogeen, terwijl de meeste wetenschappers trainen met homogene data.
“Het gaat om retinafoto’s gemaakt van verschillende patiënten, met verschillende camera’s en in verschillende ziekenhuizen. Deze variatie komt ten goede aan de prestatie van ons computermodel.”
De volgende stappen in het onderzoek focussen op de training van het computermodel met een groter aantal beelden. Het streefcijfer ligt rond de 100-tal geannoteerde beelden.
“Met deze hoeveelheid beelden doen we mee met de grotere projecten voor het annoteren van diabetische retinopathie. Alles wat er vandaag bijkomt, geeft ons extra informatie dat ons onderzoek vooruithelpt. Heel fijn!”
In tussentijd werd het streefcijfer van 17 000 afgewerkte labeltaken gehaald en wordt er een nieuwe set van afbeeldingen gedeeld op het Zooniverse-platform (meer informatie in onze nieuwsbrief van december 2019). Bart legt uit dat dit resultaat zeer bevorderend is voor het verdere werk van VITO. Naar de toekomst toe is dit een bijdrage in de ontwikkeling van automatische systemen die oogartsen kunnen helpen in een snellere detectie van diabetische retinopathie. Maar evengoed een bijdrage voor meer toegankelijke screeningtools om patiënten op te volgen, bijvoorbeeld via apotheken.
Axel-Jan diende zijn thesis – ‘Creation of a deep learning model for diabetic retinopathy lesion segmentation with low cost labeling’ – in aan de KU Leuven in juni 2019. Sinds kort is hij tewerkgesteld als doctoraatsstudent aan de UHasselt.
Voor specifieke vragen over de training van het Oog voor Diabetes-computermodel via deep learning kan je contact opnemen met Bart Elen: bart.elen@vito.be.
Verdere informatie en updates kan je lezen op de website www.oogvoordiabetes.be of via de nieuwsbrieven (klik hier om je te abonneren).
Interview afgenomen door Carina Veeckman,
onderzoeker bij imec-SMIT, Vrije Universiteit Brussel
