Design and development of a systematic validation protocol for synthetic melanoma images for responsible use in medical artificial intelligence

Authors: Luschi A. , Tognetti L. , Cartocci A. ,… Rubegni P. , Iadanza E.

Keywords

Data augmentation; Dermatology; Generative AI; Melanoma; Validation protocol.

Sommario

Il melanoma maligno è la forma più letale di tumore della pelle e l’intelligenza artificiale potrebbe contribuire ad affrontare le sfide diagnostiche che esso comporta. Le reti generative avversarie (GAN) sono in grado di generare immagini dermoscopiche sintetiche per integrare i set di dati reali, che sono limitati; tuttavia, la mancanza di protocolli di validazione standardizzati limita l’affidabilità dei modelli e la fiducia dei medici. Questo studio mira a progettare e sviluppare un protocollo di validazione sistematico che combini metriche quantitative e valutazioni qualitative da parte di esperti per valutare il realismo, la fedeltà, la diversità e l’utilità delle immagini dermoscopiche sintetiche del melanoma. È stato selezionato un modello StyleGAN2, progettato e addestrato in uno studio precedente, per le sue prestazioni quantitative superiori, e utilizzato per generare 25 immagini sintetiche di melanoma, abbinate a 25 immagini reali. Un gruppo di 17 dermoscopisti ha valutato le immagini utilizzando una scala Likert a 7 punti, in base a diversi attributi qualitativi (reale vs. sintetico, texture cutanea, realismo visivo e sicurezza) e all’analisi dei pattern. Sono stati calcolati accuratezza, sensibilità, specificità, Kappa di Fleiss e Alfa di Krippendorff per analizzare la concordanza tra i valutatori e i risultati della valutazione. L’accuratezza nella classificazione delle immagini reali rispetto a quelle sintetiche è risultata moderata (64%), con una sensibilità del 73% e una specificità del 56%, e una scarsa concordanza tra i valutatori sugli attributi qualitativi.

Per maggiori dettagli, ecco il link per accedere alla pubblicazione.