Risk-informed design of Software as a Medical Device through Natural Language Processing techniques

Autori: Luschi A. , Zazzeri A. , Cevenini G. , Iadanza E.

Keywords

Deep learning; Failure classification; Health information technology; Medical device design; Natural Language Processing; Risk-informed design; Software as a Medical Device.

Sommario

“La rapida evoluzione del Software as a Medical Device (SaMD) per applicazioni diagnostiche e terapeutiche richiede strategie di progettazione basate su evidenze scientifiche per massimizzare il rapporto benefici-rischi. Il presente studio mira a fornire ai produttori un quadro di riferimento per la riduzione dei rischi fin dalla fase di progettazione. Proponiamo inoltre una nuova classificazione standard dei guasti software relativi alle tecnologie informatiche sanitarie (HIT) utilizzando un classificatore multinomiale basato sull’elaborazione del linguaggio naturale (NLP), modellando l’intero processo di progettazione del SaMD in modo basato sull’evidenza e consapevole dei rischi.
Le segnalazioni di eventi avversi (2022–2024) sono state estratte dal database MAUDE della FDA. Le segnalazioni relative alle HIT sono state identificate utilizzando un classificatore binomiale NLP sviluppato dagli autori. Una tassonomia preliminare delle modalità di guasto è stata ricavata dalla letteratura e perfezionata tramite apprendimento auto-supervisionato. È stato applicato il clustering K-modes per generare un campione bilanciato di 1048 record, successivamente etichettati manualmente e utilizzati per mettere a punto il classificatore finale. Le prestazioni del modello sono state valutate tramite validazione incrociata a 10 pieghe.
Il classificatore multinomiale ha raggiunto precisioni validate con cross-validation comprese tra il 74,29% e l’83,81%, con un F1-score fino a 0,87 per le classi dominanti. Consente la rapida identificazione di problemi ricorrenti, aiutando gli sviluppatori a stabilire le priorità nei miglioramenti di progettazione sulla base dei rischi reali. Sono state inoltre identificate nove categorie di guasti.

Per maggiori dettagli, ecco il link per accedere alla pubblicazione.