Els problemes en reproductibilitat que persegueixen la IA aplicada al sistema sanitari

Aquest article exposa i discuteix que els models d'aprenentatge automàtic relacionats amb la salut tenen un rendiment particularment pobre en mesures de reproductibilitat en relació amb altres disciplines d'aprenentatge automàtic.

Entre d'altres, s'explica l'exemple d'una competició en línia per al diagnòstic automatitzat del càncer de pulmó, el Data Science Bowl que va proporcionar escanejats de TC del pit de 1.397 pacients a centenars d'equips, perquè els equips desenvolupin i posessin a prova els seus algoritmes. Almenys cinc dels models guanyadors van demostrar una precisió superior al 90% en detectar nòduls pulmonars. Però per ser clínicament útils, aquests algorismes haurien de funcionar igualment bé en múltiples conjunts de dades. Per provar-ho, Kun-Hsing Yu, va adquirir els deu algorismes de millor rendiment i els va posar a prova en un subconjunt de les dades utilitzades en la competició original. Sobre aquestes dades, els algoritmes van obtenir una precisió del 60-70%. En alguns casos gairebé era com llençar una moneda, fallaven doncs apoteòsicament.

Finalment, es conclou que l'algorítmia aplicada a aquest sector, té un gran potencial, però és molt perillós si s'aplica sense tenir en compte l'ètica i la reproductibilitat.

Troba més informació a Nature.