Best of the year 2023 : Wat is de waarde van ChatGPT4 bij de aanpak van reële klinische gevallen? Een gesprek met dr. Jérome Lechien

Professor Jérôme Lechien en prof. Stéphane Hans van Epicura (in samenwerking met het UMC Sint-Pieter en het Hôpital Foch, Parijs) hebben onlangs de resultaten gepubliceerd van een internationale studie uitgevoerd bij 45 patiënten met ziekten, die frequent worden gezien door huisartsen of neus-keel-oorartsen en waarvan het klinische beeld werd gepresenteerd aan de ChatGPT4, een programma van artificiële intelligentie.

 

"Het zijn patiënten die ik op spreekuur heb gezien", legt dr. Jérôme Lechien uit. "Mijn assistent heeft de symptomen, het resultaat van mijn klinisch onderzoek en de aanvullende onderzoeken, mijn diagnose en de voorgestelde behandelingen genoteerd. Hij heeft dan de symptomen en klinisch onderzoeken ingevoerd in de software van de artificiële intelligentie.

 

Het programma heeft dan aanvullende onderzoeken en behandelingen voorgesteld. We hebben een Italiaanse en een Spaanse college gevraagd de resultaten ervan blind te analyseren. En zelf heb ik de behandeling voorgeschreven die de patiënt diende te krijgen", preciseert dr. Lechien.

 

"Daarbij is gebleken dat de artificiële intelligentie zeer goed was in het stellen van een diagnose. Het percentage goede antwoorden in die studie bij 45 patiënten was 63,5%. Maar het programma was veel minder degelijk inzake het voorstellen van aanvullende onderzoeken en de beste behandeling", legt hij uit.

 

In 29% van de gevallen waren de voorgestelde aanvullende onderzoeken relevant en geheel of gedeeltelijk noodzakelijk. De behandeling was echter slechts in 22% van de gevallen relevant en noodzakelijk. Bij de andere patiënten heeft het programma een ontoereikende en zinloze behandeling voorgesteld.

 

"ChatGPT4 werkt als een grote encyclopedie, die gaat zeggen wat je kan doen, maar het discriminatievermogen van het programma is vrij zwak. In een gegeven geval zal het programma zeggen dat je een MRI, een CT-scan en een echografie kunt aanvragen. Maar in de praktijk ga je niet al die onderoeken aanvragen, maar kies je het onderzoek dat bij een gegeven ziektebeeld wenselijk is", merkt de specialist op. "Bij een botziekte bv. vraag je een CT-scan of een röntgenfoto aan en geen MRI of een echografie. ChatGPT4 zegt niet wat het beste onderzoek is", preciseert Jérôme Lechien.

 

"We hebben ook enkele kwakkels gezien. Zo was er een patiënt met een pacemaker, bij wie ChatGPT4 me meteen heeft aangeraden een MRI uit te voeren. Maar je mag geen MRI uitvoeren bij een patiënt met een pacemaker. Idem dito wat de behandeling betreft, de behandeling die ChatGPT4 voorstelt, is soms niet goed", observeert de neus-keel-oorarts.

Waarom is het discriminatievermogen zo zwak?

"Alles hangt af van wat ‘hyperparameters' wordt genoemd", legt dr. Lechien uit. "Artificiële intelligentie werkt met instellingen, die ‘hyperparameters' worden genoemd. Soms stijgt de snelheid van verwerking ten nadele van de nauwkeurigheid", vat hij kort samen. "Maar hier heb je geen hyperparameters. Je zou dezelfde klinische gevallen moeten voorleggen aan ChatGPT4 en andere programma's van artificiële intelligentie. Er staat al een studie in die zin in de steigers."

Het originele van de studie

"Dit is de eerste studie ooit die de waarde van ChatGPT4 heeft onderzocht bij echte patiënten gezien door huisartsen of neus-keel-oorartsen. We hebben in deze studie een klinische tool gevalideerd, waarmee je de waarde van artificiële intelligentie kunt beoordelen, het AIPI (Artificial Intelligence Performance instrument)." "Er bestaan tal van klinische instrumenten om het niveau van jonge artsen en studenten geneeskunde te beoordelen. We beschikken over rasters, maar voor artificiële intelligentie bestaan die nog niet. We hebben zelf een eerste raster opgesteld, dat kan worden gebruikt in de gynaecologie, de kindergeneeskunde en in een aantal gevallen ook in de oncologie", vertelt

hij. Het is een raster, dat de klinische waarde van artificiële intelligentie evalueert. Als je het programma vraagt een behandeling voor een zeldzame kanker te geven, zal het raster niet werken. Maar als je het programma vraagt wat het zou aanraden bij een patiënte met een borstkanker, die resistent is tegen radiotherapie en die wordt behandeld met chemotherapie, dan kan het wel interessant zijn", legt hij uit. Dr. Lechien: "Artificiële intelligentie dient om het

beleid te verbeteren, maar zal de arts niet vervangen, of toch niet op korte termijn."

 

"Er is een digitale omwenteling aan de gang, maar de mens heeft zich altijd verzet tegen verandering", betreurt Jérôme Lechien

 

"In de jaren tachtig hebben we minimaal invasieve chirurgie ontwikkeld voor de sinussen, d.w.z. chirurgie uitgevoerd met een camera. De Oostenrijkse chirurg, die die techniek heeft ontwikkeld, werd gedurende meerdere jaren met een schuin oog bekeken, maar nu is dat een vanzelfsprekend. Neus- en sinusoperaties zijn nu altijd minimaal invasieve operaties", aldus de specialist. De reacties ten aanzien van artificiële intelligentie zijn vrij vergelijkbaar. "Artificiële

intelligentie roept enorme weerstand op in de geneeskunde. De mensen zijn tegen verandering en nochtans vormt artificiële intelligentie een revolutie. Het is zelfs geen evolutie, het is een revolutie", betoogt hij. "Maar over 10, 15 jaar zullen we in een wereld met robots en artificiële intelligentie leven en we zullen dat dan heel normaal vinden. We zullen er geen probleem meer mee hebben dat een robot ons verzorgt. Het is een kwestie van mentaliteit", merkt hij op.

"Artificiële intelligentie kan het beleid verbeteren, maar zal de arts niet vervangen"

 

Eén van de belangrijke punten is volgens hem: "Je moet een wettelijk kader creëren." Ook moet je er rekening mee houden dat de mens altijd winst zoekt. "Het is niet de bedoeling artificiële intelligentie te ontwikkelen om artsen overbodig te maken of het aantal verpleegkundigen te verlagen", vervolgt hij. "Artificiële intelligentie heeft tot doel de zorg te begeleiden en te verbeteren, niet ten koste van de menselijke aspecten en ook niet om de werkloosheidsgraad

te verhogen. Maar dat zit er nochtans wel aan te komen."