ARGOMENTI DEL DIRITTO CIVILE COLLANA DIRETTA DA: LUIGI BALESTRA, ELENA BARGELLI, ALBERTO MARIA BENEDETTI, ALESSANDRO D’ADDA, UGO SALANITRO, CLAUDIO SCOGNAMIGLIO, STEFANO TROIANO SMART la persona e l’infosfera a cura di UGO SALANITRO 9 788833 795225 SMART la persona e l’infosfera Argomenti del diritto civile 1. Mirko Faccioli, La responsabilità civile per difetto di organizzazione delle strutture sanitarie 2. Umberto Breccia, Discorsi sul Diritto. Appunti per un corso di “teoria generale del diritto” 3. Il sistema del diritto di famiglia dopo la stagione delle riforme, a cura di Ugo Salanitro 4. Matilde Ratti, La caparra e la clausola penale tra autonomia privata e potere correttivo del giudice 5. Elena Guardigli, Diritti patrimoniali, tutela dei terzi di buona fede e misure preventive antimafia 6. Maria Samantha Esposito, La contrattazione preliminare c.d. ad esecuzione anticipata. Spunti per un inquadramento giuridico alla luce della prassi delle contrattazioni 7. Concetta Maria Nanna, Accordi in vista del divorzio. Validità e legittimità degli atti dispositivi del patrimonio familiare 8. Mario Renna, Garanzie personali e autonomia d’impresa 9. Stefano Pagliantini, Il consumatore “frastagliato” (Istantanee sull’asimmetria contrattuale tra vicende circolatorie e garanzie) 10. Marco Martino, La cessione del credito con causa di garanzia. Trasferimento, accessorietà, adempimento 11. Guglielmo Bevivino, Le “autonomie private” nel nuovo diritto dell’insolvenza 12. A Contract Law for the Age of Digital Platforms?, a cura di Elena Bargelli e Valentina Calderai 13. SMART, la persona e l’infosfera, a cura di Ugo Salanitro SMART la persona e l’infosfera Atti del Convegno 30 settembre - 2 ottobre 2021 Catania a cura di UGO SALANITRO Comitato scientifico Giuseppe AMADIO - Franco ANELLI - Tommaso AULETTA - Andrea BELVEDERE - Umberto BRECCIA - Giovanni D’AMICO - Giovanni DE CRISTOFARO - Giovanni DI ROSA - Pasquale FEMIA - Massimo FRANZONI - Alberto GAMBINO - Carlo GRANELLI - Mario LIBERTINI Nicola LIPARI - Angelo LUMINOSO - Francesco MACARIO - Marcello MAGGIOLO - Manuela MANTOVANI - Maria Rosaria MAUGERI - Emanuela NAVARRETTA - Luca NIVARRA - Mauro ORLANDI - Fabio PADOVINI - Stefano PAGLIANTINI - Salvatore PATTI - Vincenzo ROPPO Michele SESTA - Pietro SIRENA - Giuseppe VETTORI - Alessio ZACCARIA Procedura di selezione Il direttore proponente raccoglie l’assenso degli altri direttori, da esprimersi entro il termine di quindici giorni; sottopone il volume, in forma anonima, al giudizio di due referee, ignoti all’autore o agli autori, scelti dal collegio dei direttori preferibilmente all’interno del comitato scientifico e chiamati a comunicare la propria valutazione entro il termine di trenta giorni: ove un solo referee esprima un giudizio positivo, la decisione finale spetterà alla direzione. Pubblicato con il contributo del Programma di Ricerca di Ateneo 2020/2022 Linea 2 - Università degli Studi di Catania - Dipartimento di Giurisprudenza. © Copyright 2022 by Pacini Editore Srl ISBN 978-88-3379-522-5 Realizzazione editoriale 1872 - 2022 Pacini Editore 1872-2022: 150 anni nell’editoria di qualità Via A. Gherardesca 56121 Pisa Responsabile di redazione Gloria Giacomelli Fotolito e Stampa Industrie Grafiche Pacini Le fotocopie per uso personale del lettore possono essere effettuate nei limiti del 15% di ciascun volume/fascicolo di periodico dietro pagamento alla SIAE del compenso previsto dall’art. 68, commi 4 e 5, della legge 22 aprile 1941 n. 633. INDICE Presentazione ...................................................................................................................... p. 9 Gunther Teubner, Responsabilità civile per i rischi della digitalità ........................................... » Raffaella Messinetti, Autonomia della macchina e identità della persona................................ » Giusella Finocchiaro, La proposta di regolamento sull’intelligenza artificiale: il modello europeo basato sulla gestione del rischio ........................................................................................... » Andrea Bertolini, Le applicazioni di intelligenza artificiale proibite tra manipolazione e inganno dell’utente ................................................................................................................................. » Roberto Cavallo Perin, Fondamento e cultura giuridica per la decisione algoritmica ........... » Pasquale Stanzione, Decisioni automatizzate e ruolo della privacy ........................................... » Carlo Casonato, Intelligenza artificiale e medicina: l’impatto sulla relazione di cura (cenni)» Giovanni Di Rosa, I robot medici ....................................................................................................... » Arianna Fusaro, La disciplina sulla responsabilità del produttore alla prova dei sistemi intelligenti ................................................................................................................................................ » Alessandro D’Adda, Responsabilità «da robot»: i soggetti responsabili e i loro rapporti interni (con speciale riferimento all’ambito sanitario) .................................................................. » Alfio Guido Grasso, GDPR e intelligenza artificiale: limiti al processo decisionale automatico in sanità ................................................................................................................................ » Antonio Carratta, Prova algoritmica e processo civile ................................................................... » Thomas Casadei, Istituzioni e algoritmi: tra strategie funzionali ed “effetti collaterali” ...... » Antonio Punzi, Decidere in dialogo con le macchine: la sfida della giurisprudenza contemporanea ......................................................................................................................................... » Gabriella Nicosia, L’infosfera “per” la persona: riflessioni introduttive .................................... » Lorenzo Zoppoli, Lavoro agile, persone e amministrazioni: le sfide post-pandemia ......... » Donata Gottardi, Benessere, disconnessione, conciliazione. La prospettiva delle istituzioni UE ............................................................................................................................................................... » Giancarlo Vecchi, Lavoro agile e infosfera nel settore pubblico. Organizzazione, valutazione e criticità da affrontare ..................................................................................................... » Elsa Bivona, Smart contracts, diritto nazionale e discipline eurounitarie................................ » Andrea Stazi, Automazione del contratto, accordo telematico e smart contracts ................... » Francesco Paolo Patti, Smart contracts e blockchain: rischi ed opportunità ......................... » Michele Nastri, Blockchain, smart contract, ledger e pubblici registri: tutela dei diritti e funzione notarile ...................................................................................................................................... » 13 25 49 71 89 99 107 115 129 153 183 225 239 261 275 283 301 313 319 333 347 363 6 SMART LA PERSONA E L’INFOSFERA Antonio Las Casas, Contrattazione digitale e modelli di scambio.............................................. » Alberto Maria Benedetti, Tecnica, diritto civile e smart contract. Minimalismo o massimalismo? ......................................................................................................................................... » 387 415 Tavola rotonda La c.d. Giustizia Predittiva: esperienze e prospettive ................................................................. » 431 Gli Autori ................................................................................................................................................ » 467 ARGOMENTI DEL DIRITTO CIVILE Costituisce oggetto di una tradizione sufficientemente consolidata nell’ambito del lavoro scientifico e di ricerca il fatto che chi dà vita ad un progetto culturale nuovo – che si tratti di una rivista o, come in questo caso, di una Collana – si preoccupi di esplicitare l’esigenza che lo ha mosso, all’atto del concepimento dell’iniziativa, ed il senso che alla stessa intende imprimere. I direttori della Collana Argomenti del diritto civile non intendono sottrarsi a questa consuetudine, che è pure un onere, benché siano convinti che sia di gran lunga preferibile manifestare le proprie scelte non con le mere enunciazioni astratte, ma con i fatti e cioè con le opere che, auspicabilmente numerose, troveranno ospitalità in questa Collana e finiranno per delinearne il percorso. L’esigenza sottesa all’iniziativa, dunque, e per cominciare. Non è il caso di addentrarsi, per illustrarla, in discorsi relativi allo stato attuale, ed alle prospettive, della ricerca scientifica nel campo del diritto civile in Italia ed alle difficoltà che incontrano gli studiosi, soprattutto delle generazioni più giovani, che ad essa intendono accostarsi. Si tratta, infatti, di discorsi che si esporrebbero, in pieno, da un lato, al rischio dell’ovvietà, dall’altro, a quello dell’eccesso di semplificazione: tanto più che sarebbe irrealistico, prima ancora che immodesto, anche solo ipotizzare che quelle difficoltà possano essere avviate a soluzione per mezzo di una collana, che sopraggiunge, ultima, accanto a tante altre di assai più risalente tradizione e di sicuro prestigio. Basterà allora dire che l’esigenza che ha aggregato la direzione degli Argomenti è quella di offrire agli studiosi – con una considerazione particolare, ma non esclusiva, per quelli che, pur avendo già raggiunto il traguardo del lavoro monografico di ampio respiro, si trovano all’inizio della loro traiettoria – un luogo di pubblicazione essenzialmente caratterizzato dalla pluralità delle voci e dei metodi: perché plurali, appunto, ed anche molto diversificate le une dalle altre, sono le esperienze di coloro che compongono la direzione della Collana. Il senso che si vuole dare al progetto, poi. 8 SMART LA PERSONA E L’INFOSFERA La pluralità delle voci e dei metodi, da ultimo evocata, se intende assicurare la massima libertà a chi vorrà vedere la sua opera ospitata nella Collana, non vuole naturalmente risolversi, quale criterio di selezione dei lavori da pubblicare, in una professione di eclettismo metodologico fine a sé stesso, ovvero in scelte editoriali che, per essere in ipotesi troppo corrive all’attualità giurisprudenziale o normativa, finiscano per smarrire la dimensione della profondità e della fatica della ricerca: di qui, quale strumento ulteriore di garanzia per il lettore, prima ancora che come esigenza di conformità a standards organizzativi ormai consolidati anche a livello normativo, la presenza di un Comitato scientifico, composto di studiosi del massimo livello di autorevolezza e di differenti generazioni, che possa orientare le valutazioni della direzione e restituire appieno il senso di un progetto che, nella individuazione delle opere da pubblicare, aspira a coniugare serietà e curiosità. I Direttori ALFIO GUIDO GRASSO GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ* SOMMARIO: 1. Introduzione: clinical decision support systems (CDSS), diagnostic decision support systems (DDSS), e confini giuridici del problema. – 2. La nozione di decisione automatizzata contenuta nell’art. 22 GDPR. – 3. Il problema delle decisioni parzialmente automatizzate. – 3.1. (Segue). Diagnosi semiautomatiche e controllo del medico. – 4. Diagnosi “automatiche” e vincoli legali a consistenza variabile. – 4.1. Quando il processo decisionale automatizzato è autorizzato dal diritto europeo o nazionale. – 4.2. Consenso informato (al trattamento medico), consenso al trattamento dei dati e consenso al processo decisionale automatizzato: uno, (nessuno) o tre consensi? – 4.3. Processi decisionali automatizzati e contratto: divieto di applicazione dell’eccezione contrattuale in campo medico. – 4.4. La proposta di Regolamento sull’intelligenza artificiale e il principio “human in the loop”. – 5. Informazioni obbligatorie e intelligenza artificiale in medicina: la recente riforma della legge sulla bioetica in Francia. – 6. Comprensibilità della decisione e profili regolatori (Regolamento Dispositivi Medici UE 2017/745): tra spiegazione dell’uomo e accessibilità dell’algoritmo. 1. Introduzione. La medicina rappresenta uno dei settori maggiormente interessati dai progressi intervenuti negli ultimi decenni in materia di intelligenza artificiale, Internet of Things, robotica, stampa 3D, ingegneria genetica, computer quantistici e altre innovazioni tecnologiche: progressi che vanno comunemente sotto il nome di IV rivoluzione industriale1. Alla base dell’intelligenza artificiale e delle Il contributo si inserisce nella ricerca sul tema “Responsabilità medica e intelligenza artificiale” che l’autore sta svolgendo nel quadro del Programma di ricerca di Ateneo UNICT 2020-22 linea 2, progetto di ricerca “SMART Soggetti e Macchine tra Autonomia e responsabilità: quali tutele. Le discipline sostanziali e processuali per la società della IV rivoluzione, dopo la pandemia”. Il lavoro è stato inoltre realizzato grazie al finanziamento e al sostegno del Ministero Federale Tedesco dell’Istruzione e della Ricerca (BMBF). Numero di sovvenzione: 16DII112 – “German Internet Institute“/„Deutsches Internet-Institut“. 1 Per un primo inquadramento generale v., fra gli altri, H.-W. MICKLITZ, O. POLLICINO, A. REICHMAN, A. SIMONCINI, G. SARTOR e G. DE GREGORIO (a cura di), Constitutional Challenges in the Algorithmic Society, Cambridge, 2021; U. RUFFOLO (a cura di), Intelligenza artificiale. Il diritto, i diritti, l’etica, Milano, 2020; G. ALPA (a cura di), Diritto e intelligenza artificiale, Pisa, 2020; S. Amato, Biodiritto 4.0. Intelligenza artificiale e nuove tecnologie, Torino 2020; W. BARFIELD e U. PAGALLO, Research Handbook on the Law of Artificial Intelligence, Edward Elgar Publishing, 2018; L. CALIFANO e C. COLAPIETRO (a cura di), Innovazione tecnologica e valore della persona, Napoli, 2017. * 184 ALFIO GUIDO GRASSO sue molteplici applicazioni vi sono gli algoritmi, che possiamo intendere – con linguaggio comune – come qualsiasi procedura computazionale predefinita che assume un valore, o un insieme di valori, come input e genera un valore, o un insieme di valori, come output2. Tra questi, merita in particolare fare menzione degli algoritmi c.d. di Machine Learning, i quali rappresentano i prodotti più recenti di questo processo di sviluppo e sono così definiti perché “capaci di assumere decisioni autonome conseguenti a un processo di adattamento self learning”3. Si tratta di un’applicazione particolare dell’intelligenza artificiale che fornisce ai sistemi la capacità di imparare autonomamente e migliorare le loro performance direttamente dall’esperienza, in modo adattativo, senza essere stati preventivamente programmati a farlo4. Per questa loro caratteristica sono solitamente utilizzati all’interno dei processi decisionali, allo scopo di fornire una previsione o una classificazione. Sempre più queste tecnologie sono coinvolte nella formulazione di decisioni che hanno un impatto significativo sulla vita individuale e collettiva, incidendo su funzioni pubbliche chiave5. Tra i settori più coinvolti rientra quello medico-sanitario6, dove gli sviluppi sono stati particolarmente evidenti e in larga parte 2 Definizioni simili si rintracciano ex multis in T.H. CORMAN, C.E. LEISERSON, R.L. RIVEST e C. STEIN, Introduction to Algorithms, 3a ed., MIT Press Cambridge, Massachusetts, 2009, 5; A. BLASS, GUREVICH, Algorithms: A Quest for Absolute Definitions, in Bull. EATCS, 2003, 81, pp. 195 ss.; N.S. YANOFSKY, Towards a Definition of an Algorithm, in Journal of Logic and Computation, 2011, p. 1. 3 U. SALANITRO, Intelligenza artificiale e responsabilità: la strategia della Commissione Europea, in Riv. dir. civ., 2020, p. 1247. 4 Una definizione analoga ricorre nel primo esempio di studio nel campo dell’apprendimento automatico: v. A.L. SAMUEL, Some Studies in Machine Learning Using the Game of Checkers, in IBM Journal of Research and Development, 1959, vol. 3, 3, pp. 210 ss. Tra le opere più recenti che affrontano il tema in modo comprensibile anche ai non addetti ai lavori segnalo A. BURKOV, The Hundred-Page Machine Learning Book, Self-Publishing, 2019; T. TAEHO JO, Machine Learning Foundations: Supervised, Unsupervised, and Advanced Learning, Springer, 2022; in italiano, D. GOSMAR, Machine Learning: Il sesto chakra dell’intelligenza artificiale, Independently published, 2020. 5 Per un quadro degli usi dei machine learning in tanti importanti settori v., e.g., H.-W. MICKLITZ, O. POLLICINO, A. REICHMAN, A. SIMONCINI, G. SARTOR e G. DE GREGORIO (a cura di), op. cit.; S. LOHSSE, R. SCHULZE e D. STAUDENMAYER (a cura di), Liability for Artificial Intelligence and the Internet of Things, München-Oxford, 2019. Specificamente nel settore della medicina, v. a livello monografico i recenti lavori di A. MARCHESE, Principi civilistici dell’Information Technology in àmbito sanitario, Napoli, 2021; G. PASCERI, Intelligenza artificiale, algoritmo e machine learning. La responsabilità dell’amministrazione sanitaria e del medico, Milano, 2021; F. LAGIOIA, L’intelligenza artificiale in sanità: un’analisi giuridica, Torino, 2020. M. CIANCIMINO, Protezione e controllo dei dati in àmbito sanitario e Intelligenza Artificiale. I dati relativi alla salute tra novità normative e innovazioni tecnologiche, Napoli, 2020. 6 V., ex multis, E. COLLETTI, Intelligenza artificiale e attività sanitaria. Profili giuridici dell’utilizzo della robotica in medicina, in Riv. dir. econ. tras. e amb., 2021, pp. 201 ss.; E. GIUSTI, Intelligenza GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 185 positivi7, anche grazie al sempre più diffuso ricorso ai c.d. sistemi di supporto decisionale clinico. I clinical decision support systems (CDSS) sono stati storicamente una delle principali applicazioni dell’intelligenza artificiale: sebbene per lo più a fini meramente accademici o di ricerca, già a partire dagli anni ’70 esistevano modelli ideati per supportare i medici nelle decisioni diagnostiche e cliniche8. Tuttavia solo di recente, grazie all’integrazione con le cartelle cliniche elettroniche e ai flussi di lavoro computerizzati, questi sistemi hanno raggiunto un livello di precisione e speditezza tale da determinare un effettivo cambiamento di paradigma nell’assistenza sanitaria9. Al riguardo si possono distinguere Clinical decision support system basati sulla conoscenza (Knowledge-based CDSS) e Clinical decision support system non basati sulla conoscenza (Non-Knowledge-based CDSS). I primi constano di tre parti: la base di conoscenza, un motore di inferenza e un meccanismo di comunicazione. La base di conoscenza è il patrimonio di acquisizioni della comunità scientifica di esperti (o di un singolo specialista) in un’area del sapere medico: contiene le regole e le associazioni di dati e per questo spesso appare sotto forma di istruzione If-Then10. Il motore di inferenza combina le regole della base di conoscenza con i dati del paziente; mentre, il meccanismo di comunicazione permette al sistema di mostrare i risultati all’utente. I Clinical decision support system non basati sulla conoscenza, invece, fanno ricorso a forme di intelligenza artificiale cd. machine learning, che permettono al computer di imparare autono- artificiale e sistema sanitario, in Dir. e salute, 2019, pp. 1 ss. 7 Fra le tante applicazioni v., solo ad esempio, U. CORTÉS (et al.), Intelligenza artificiale in medicina: progetto di una piattaforma mobile inserita in un ambiente intelligente per l’assistenza ai disabili e agli anziani, in Recenti Prog. Med., 2004, 95, 4, pp. 190 ss. 8 E.H. SHORTLIFFE e B.G. BUCHANAN, A model of inexact resoning in medicine, in Math. Biosci. 379, 233–262 (1975). 9 Probabilmente il più noto sistema di supporto alle decisioni cliniche con intelligenza artificiale è l’IBM’s Watson, che assiste prevalentemente gli oncologi con raccomandazioni terapeutiche basate su evidenze scientifiche. Il sistema è in grado di svolgere complesse operazioni anamnestiche e diagnostiche, definizione di cure personalizzate, grazie all’utilizzo di cloud computing estremamente sviluppati. Qui un recente studio che confronta l’alto tasso di accuratezza delle raccomandazioni terapeutiche del sistema rispetto ai trattamenti ricevuti nei reparti di urologia dai pazienti con cancro alla prostata: YU et all., Early experience with Watson for Oncology: a clinical decision-support system for prostate cancer treatment recommendations, in World J Urol. 2021 Feb;39(2):407-413. 10 Si pensi al caso di un medico che istruisca il sistema circa la diagnosi del paziente e i farmaci che sta già assumendo; in vista della terapia, il sistema confronterà tutti i farmaci utili e restituirà solo l’elenco di quei medicamenti che non interferiscono con quelli già assunti. Per ulteriori e più complessi esempi si rinvia, fra gli altri, a T. SIKMA, R. EDELENBOSCH e P. VERHOEF, The use of AI in healthcare: A focus on clinical decision support systems, RECIPES project, European Commission, aprile 2020; R.A. MILLER, Medical Diagnostic Decision Support Systems—Past, Present, and Future: A Threaded Bibliography and Commentary, in J Am Med Inform Assoc 1994;1:8–27. 186 ALFIO GUIDO GRASSO mamente dalle esperienze passate e/o trovare modelli nei dati clinici senza bisogno che venga fissato un set predefinito di regole da cui attingere o individuati a priori gli input degli esperti da cui apprendere11. Nonostante il loro promettente potenziale, i medici hanno mostrato di preferire i Knowledge-based CDSS, per ragioni di affidabilità, prevedibilità e, in ultima analisi, responsabilità, in quanto i sistemi basati sull’apprendimento automatico più difficilmente possono spiegare le ragioni delle loro conclusioni12. Tuttavia, possono essere particolarmente utili come sistemi post-diagnostici che suggeriscono ai clinici quali pattern approfondire al fine di ricavare connessioni tra i pazienti e la loro storia clinica, utili per la ricerca scientifica e per predire manifestazioni future13. In concreto, sia che si basino sulla conoscenza sia che utilizzino programmi di machine learning, si tratta di tecnologie dell’informazione sanitaria che forniscono ai medici, al personale, o ai pazienti stessi conoscenze e informazioni specifiche sulla condizione psicofisica della persona, valutate attraverso il ricorso all’intelligenza artificiale e portati all’attenzione del medico a seconda delle necessità del caso. I CDSS comprendono una varietà di strumenti per migliorare il processo decisionale nell’ambito del lavoro clinico quali, tra gli altri, avvisi e promemoria computerizzati, linee guida cliniche, prontuari, rapporti e riepiloghi dei dati del paziente, modelli di documentazione, supporto diagnostico e informazioni di riferimento contestualmente (e temporalmente) rilevanti. Quando sono utilizzati come strumenti di supporto diagnostico – in inglese Diagnostic decision support systems (DDSS) – questi sistemi rappresentano più In genere, le reti non basate sulla conoscenza spesso si concentrano su una lista ristretta di sintomi, come i sintomi di una singola malattia, al contrario dell’approccio basato sulla conoscenza che copre la diagnosi di molte malattie diverse. 12 S. MONTANI e M. STRIANI, Artificial Intelligence in Clinical Decision Support: a Focused Literature Survey, in Yearb Med Inform., 2019, 28(1), 120 ss. 13 Questi sistemi possono essere basati su reti neurali, algoritmi genetici, macchine vettoriali di supporto, alberi decisionali o qualsiasi altra tecnologia di apprendimento automatico, che “impara” a riconoscere i modelli in serie di dati caso per caso. Le reti neurali artificiali utilizzano nodi e connessioni ponderate tra loro per analizzare i modelli trovati nei dati dei pazienti per ricavare associazioni tra sintomi e diagnosi. Gli algoritmi genetici si basano invece su processi evolutivi semplificati che utilizzano la selezione diretta per ottenere risultati CDSS ottimali; gli algoritmi di selezione valutano componenti di insiemi casuali di soluzioni ad un problema e le soluzioni che risultano migliori vengono poi ricombinate e mutate ed eseguite nuovamente nel processo: questo accade più e più volte fino a quando non viene scoperta la soluzione corretta. Sono funzionalmente simili alle reti neurali nella misura in cui rappresentano anch’esse delle “black box” aventi il compito di cercare di ricavare la conoscenza dai dati dei pazienti. Per approfondimenti si rinvia a L.A. WINTERS-MINER et all, Biomedical Informatics, in Practical Predictive Analytics and Decisioning Systems for Medicine: Informatics Accuracy and Cost-Effectiveness for Healthcare Administration and Delivery Including Medical Research, 2015, Academic Press, pp. 42 ss. 11 GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 187 propriamente una sorta di “consultazione” computerizzata in una fase preliminare di valutazione, in cui vengono forniti all’utente una serie di diagnosi possibili o probabili14. Vengono di conseguenza usati come strumento di ausilio alla decisione medica, spesso in relazione a quei casi più complessi in cui risulta utile un confronto con un “collega più esperto” ovvero, con un approccio più estremo, possono essere impiegati financo come strumenti sostitutivi della decisione individuale del medico curante: questo è l’ambizioso obiettivo con il quale – complice l’esigenza di fronteggiare l’epidemia da COVID-19 evitando il più possibile il contatto umano – sono stati sviluppati diversi software in grado di identificare in modo indipendente i pazienti che necessitano di un ricovero d’emergenza da quelli che possono attendere un ricovero ordinario o programmato15. Da queste notazioni si può già cogliere l’estrema novità di questi strumenti, ai quali è (sarà) possibile affidare una attività che fino a un recentissimo passato era appannaggio esclusivo degli esseri umani, e cioè la capacità di inferire da una serie di dati (sintomi, storia clinica, storia familiare, reazione agli stimoli, esami medici etc. etc.) la veridicità o meno dell’ipotesi clinica iniziale (È provato che X soffra della malattia Y o viceversa). Tali dispositivi, infatti, a differenza dei tradizionali strumenti diagnostici – i quali permettono di identificare in genere soltanto l’esistenza di uno o più elementi caratteristici della malattia –, riescono a offrire un’informazione definitiva e completa sull’esistenza o meno di una patologia senza bisogno di ricorre ad altre prove diagnostiche né, in ipotesi, alla valutazione di sintesi di un medico compente. Gli stessi strumenti, poi, suggeriscono anche la terapia da adottare, in modo tale da coprire quasi per intero l’area delle attività tipicamente riservate al sanitario. Nonostante questi progressi, rimangono molte incognite riguardo all’uso e agli effetti che i CDSS hanno sugli utenti, sulla correttezza dei risultati forniti Un esempio di un’applicazione DDSS particolarmente riuscita è quello creato da alcuni ricercatori per la diagnosi della neuropatia periferica utilizzando la logica fuzzy. Attraverso 24 campi di input che includono sintomi e risultati di test diagnostici, hanno raggiunto il 93% di accuratezza rispetto agli esperti “umani” nell’identificare neuropatie motorie, sensoriali, miste neuropatie miste o casi normali: R. KUNHIMANGALAM, S. OVALLATH e O.K. JOSEPH, A clinical decision support system with an integrated EMR for diagnosis of peripheral neuropathy, in Neuroimaging Clin N Am. 2014 Feb;24(1):49-65 15 Rispetto all’epidemia in corso (per il resto v. nota 20) tra le tante ricerche v. C.K. KIM, J.W. CHOI, Z. JIAO, et al., An automated COVID-19 triage pipeline using artificial intelligence based on chest radiographs and clinical data, in Npj Digit. Med. 5, 5 (2022), https://doi.org/10.1038/s41746021-00546-w; AT. KAPOOR, AP. KAPOOR e G. MAHAJAN, Use of Artificial Intelligence to Triage Patients with Flu-Like Symptoms Using Imaging in Non-COVID-19 Hospitals during COVID-19 Pandemic: An Ongoing 8-Month Experience, in Indian J Radiol Imaging, 2022 Jan 10, 31(4), 901 ss.; A. GILBERT e A. GHUYSEN, Triage in the time of COVID-19, in The Lancet Digital Health, vol. 4, 9 marzo 2022. 14 188 ALFIO GUIDO GRASSO e sui costi del servizio. Non sono mancati studi che hanno messo in guardia sugli effetti controproducenti che l’utilizzo di queste applicazioni può avere sui medici e sui pazienti stessi: nei primi in termini di smarrimento della capacità di discernimento senza l’ausilio della ancilla tecnologiae, nei secondi in termini di paure e ansie connesse alla rilevazione dei sintomi16. Ma oltre ai conflitti etici e alle implicazioni deontologiche, questi strumenti pongono problemi anche giuridici (rectius di diritto positivo), legati all’autonomia del medico e al rispetto dei limiti e delle garanzie relative ai processi decisionali automatici. Tali sistemi, almeno ogni qual volta vengano impiegati come strumenti sostitutivi della decisione umana, mettono in discussione le regole vigenti, come ad esempio quella secondo cui il medico curante ha la responsabilità ultima delle decisioni cliniche nei confronti dei suoi pazienti, e (soprattutto) le regole sul processo decisionale automatizzato contenute nel regolamento generale sulla protezione dei dati dell’Unione Europea. L’articolo 22 GDPR conferisce alle persone il diritto di non essere sottoposte a una decisione basata esclusivamente su un trattamento automatizzato, qualora produca effetti giuridici o comunque li riguardi in modo significativo: nonostante la lettera della disposizione, è controverso se la disposizione stabilisca un diritto o piuttosto un obbligo17. In ogni caso, mettendo da parte questo dibattito, che non è necessario affrontare in questa sede, e aderendo all’opinione – che abbiamo trovato più convincente altrove18 – per cui si tratti di un divieto, la valutazione da compiere non può essere ridotta a un semplice sì o no all’interrogativo se le decisioni automatizzate siano vietate, dacché alla previsione del primo comma fanno seguito una serie di disposizioni ove si riconosce (ampio) spazio per un legittimo processo decisionale senza alcun coinvolgimento umano, a condizione che vi sia stato un esplicito consenso o ricorrano altri presupposti, e a patto che si assicurino all’interessato adeguate garanzie quali la possibilità di esprimere un parere, contestare la decisione o ottenere un intervento umano. 16 Per molti, v. R.T. SUTTON et. all, An overview of clinical decision support systems: benefits, risks, and strategies for success, in Npj Digital Medicine, 2020, 3:17; A.T.M. WASYLEWICZ e M.J.W. SCHEEPERS-HOEKS, Clinical Decision Support Systems, in Fundamentals of Clinical Data Science, a cura di KUBBEN et al., Springer, 2019, pp. 153 ss.; T. LYSAGHT et all, AI-Assisted Decision-making in Healthcare The Application of an Ethics Framework for Big Data in Health and Research, in Asian Bioethics Review, 2019, 11:299-314. 17 In generale sulla disposizione v. L.A. BYGRAVE, Article 22, in The EU General Data Protection Regulation (GDPR): A Commentary, a cura di C. Kuner et al., 2020, OUP, pp. 530 ss.; A. CAIA, Articolo 22, in GDPR e Normativa Privacy Commentario, a cura di G.M. Riccio, G. Sforza e E. Bellisario, I, Milano, 2018, pp. 219 ss. 18 A.G. GRASSO, The bad algorithm. Automated Discriminatory Decisions in the European General Data Protection Regulation, di prossima pubblicazione. GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 189 Volendo schematizzare, si potrebbero raggruppare i processi decisionali algoritmici in campo sanitario in tre diverse aree di interesse, a seconda dei destinatari di questi strumenti e del modo in cui vengono impiegati, se per assistere il medico o per sostituirlo: 1) applicazioni in grado di supportare le scelte dei pazienti relativamente alla loro assistenza sanitaria19; 2) sistemi di supporto alle decisioni cliniche in grado di fornire ai medici giudizi clinici personalizzati, in modo rapido e particolarmente accurato, da cui trarre indicazioni in vista di una diagnosi o di una decisione terapeutica20; 3) programmi di machine learning 19 Esistono numerose applicazioni che consentono al singolo individuo di identificare alte probabilità di tumori della pelle semplicemente scattando con il proprio telefono una foto della zona di cute sospetta. Al riguardo, tra le tante, si consideri l’applicazione UMSkinCheck, sviluppata all’Università del Michigan, è un esempio di App gratuita che permette agli utenti di effettuare un autoesame completo della pelle e un’indagine fotografica, tracciare e creare una storia di nei e lesioni e ricevere promemoria regolari per eseguire autoesami successivi e controllare le lesioni che vengono tracciate: per info v. https://www.rogelcancercenter.org/skin-cancer/melanoma/prevention/app. Questo è solo una delle tante App che sono state create con la stessa finalità negli ultimi anni, alcune delle quali utilizzano tecnologie di deep learning e non di machine learning, con la conseguenza che il sistema è in grado di elaborare anche dati non strutturati, che non stati oggetto di precedente categorizzazione. Si tratta tuttavia di applicazioni la cui accuratezza nella diagnosi è dibattuta: v. N. GALAN, How Effective Are Skin Cancer Apps for Early Detection?, in Medical news today, 2019, https:// www.medicalnewstoday.com/articles/285751); G. MAMMOSER, AI May Be Better at Detecting Skin Cancer Than Your Derm, in Healthline, 11 giugno 2018, https://www.healthline.com/health-news/ ai-may-be-better-at-detecting-skincancer-than-your-derm#1. Oltre a ciò, negli Stati Uniti, è notizia recente, la Food and Drug Administration (FDA) ha approvato una delle prime applicazioni basate sull’apprendimento automatico che rileva la retinopatia diabetica dalle immagini diagnostiche scattate con gli smartphone: FDA, FDA permits marketing of artificial intelligence-based device to detect certain diabetes-related eye problems, 2018, https://www.fda.gov/news-events/press-announcements/fda-permits-marketing-artificial-intelligence-based-device-detect-certain-diabetes-related-eye. Si può fare menzione anche di altre applicazioni come BabylonHealth, le quali utilizzano l’intelligenza artificiale per interagire direttamente con i pazienti, i quali comunicano con una chatbot per ottenere un consulto medico o una diagnosi. Una volta inseriti i sintomi che sta sperimentando, il Symptom Checker (chatbot) farà alcune domande al paziente/utente per raccogliere maggiori dettagli, per poi fornire informazioni sulle potenziali cause e sui possibili passi in avanti, ed (eventualmente) mettersi in contatto con un medico. L’App è in grado di identificare i problemi medici più comuni, come allergie, infezioni (da coronavirus e.g.), intossicazione alimentare, con una accuratezza che secondo il produttore è circa dieci volte più elevata di quella di un medico generico: A. MALVA e V. ZURLO, Babylon Health: il servizio anglosassone di Medicina Generale privato basato su app, in Riv. soc. it. med. gen., n. 5, vol. 26, 2019, p. 15. Babylon Health è solo una delle tante applicazioni del genere. Possono ricordarsi inoltre Ada Health, che fornisce un suggerimento di diagnosi in pochi minuti; DeepMind Health di Google, che ha la capacità di interpretare con alta precisione la scansione oculare. 20 Tra i tanti ambiti della medicina interessati dagli sviluppi dei sistemi automatici di supporto clinico-diagnostico è la radiodiagnostica quello maggiormente innovato: l’intelligenza artificiale, combinata con l’imaging e con il passaggio alla cartella clinica elettronica, ha mostrato (e sta mostrando) un grande potenziale nel supportare la rapida identificazione della presenza o assenza 190 ALFIO GUIDO GRASSO utilizzati nel contesto dell’accesso alle cure (triage), in grado di decidere al posto del medico se (e quali persone) ricoverare d’urgenza ovvero trasferire in terapia intensiva e quali invece possono attendere un ricovero ordinario21. Se nel primo caso le decisioni sul trattamento sono prese in ultima analisi dal paziente o dal suo rappresentante, e quindi il problema maggiore è quello di assicurare un quadro completo e comprensibile di informazioni, in base anche alla gravità del rischio e di quanto desidera sapere; nel secondo e nel terzo caso la valutazione cambia a seconda se il medico intervenga (e con che autonomia) nel processo decisionale. Benché non possa escludersi – specialmente per il caso del triage – che la decisione possa essere affidata integralmente al mezzo digitale, allo stato dell’arte questa non sembra essere la prassi più diffusa: nella maggior parte dei casi sarà il clinico che si assumerà in ultima analisi l’onere della decisione. Con la conseguenza che, a causa della mediazione umana, non troverà applicazione il divieto di decisione automatica di cui al comma 1 dell’art. 22 GDPR. Tuttavia, come l’elaborazione dottrinale e giurisprudenziale ha riconosciuto, lo standard di protezione che il Regolamento (UE) 2016/679 garantisce all’interessato cede soltanto se l’intervento dell’uomo nel processo decisionale sia significativo e non puramente simbolico o meramente nominale. di certi tipi di malattie con un’accuratezza maggiore di quella degli specialisti. Si consideri soltanto che ricercatori dell’Università di Stanford hanno elaborato un algoritmo che, in pochi secondi, può interpretare le radiografie del tronco per individuare quattordici diverse patologie del torace: H. ARMITAGE, Artificial intelligence rivals radiologists in screening X-rays for certain diseases, Stanford Medicine News Center, 2018, https://www.rsna.org/news/2019/January/AI-for-chest-x-rays. 21 A parte i già richiamati software recentemente sviluppati per far fronte alla pandemia (v. nota 14), uno dei sistemi diagnostici più noti (e più risalenti) è il programma bayesiano per la diagnosi del dolore addominale acuto sviluppato da ricercatori inglesi. Per come originariamente concepito, uno degli obiettivi del sistema era proprio quello di discriminare tra trattamenti chirurgici e trattamenti non chirurgici di dolore addominale acuto al fine di aiutare il medico nel triage dei pazienti in una situazione di emergenza: F.T. DE DOMBAL, D.J. LEAPER, J.C. HORROCKS, J.R. STANILAND e A. MCCANN, Human and computer-aided diagnosis of abdominal pain: further report with emphasis on performance of clinicians, in Br Med J, 1974; 1:376–380. Più di recente, v. S. RAZZAKI et al., A comparative study of artificial intelligence and human doctors for the purpose of triage and diagnosis, 2018, in https://arxiv.org/abs/1806.10698, ove casi identici sono stati valutati sia da un sistema di intelligenza artificiale che da medici umani. Le diagnosi differenziali e i risultati del triage sono stati poi considerati da un soggetto esterno, indipendente, che non era a conoscenza della fonte (sistema AI o medico umano) dei risultati. Nel complesso lo studio ha trovato che il sistema di triage e diagnostica fondato sull’intelligenza artificiale sia stato in grado di identificare la condizione del paziente con un’accuratezza paragonabile ai medici umani. Inoltre, il suggerimento di ricovero raccomandato dal sistema di intelligenza artificiale era, in media, più sicuro di quello dei medici umani, se confrontato con le categorie di soggetti ritenuti ricoverabili dalle linee guida degli esperti indipendenti, con solo un minimo margine di scostamento. GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 191 2. La nozione di decisione automatizzata contenuta nell’art. 22 GDPR. Di per sé il termine “decisione” sembra utilizzato nel contesto della disposizione in modo deliberatamente atecnico, così da consentire il richiamo tanto di quelle determinazioni con cui le autorità amministrative o giudiziarie definiscono un procedimento22, quanto di quelle misure adottate dalle imprese – termine con cui, come noto, nel linguaggio unionale si identificano anche i professionisti intellettuali – nei confronti di singoli individui o gruppi di persone. Il criterio di cernita e di selezione sembra piuttosto affidato agli effetti che tali decisioni devono produrre per essere considerate rilevanti: si deve trattare di effetti “giuridici” o comunque tali da incidere in modo “significativamente analogo” sulla persona dell’interessato. Definire cosa si intenda per effetti giuridici non è un compito così arduo, soprattutto perché è stato ampiamente approfondito dagli studiosi che si sono occupati dell’art. 15 della direttiva 95/46/CE, ove era contenuta la precedente disciplina23. L’approccio prevalente ha identificato queste decisioni in quelle capaci di “incidere sullo stato giuridico” degli interessati24 ovvero, in termini più prosaici, in quelle decisioni che “intaccano la loro posizione giuridica o i loro interessi legali”25. Nonostante il Gruppo di Lavoro Articolo 29 sulla protezione dei dati (da ora in poi WP2926) individui tali decisioni in quelle in grado di esercitare un’influenza su diritti di cui l’interessato è già titolare – diritti che in concreto possono essere basati su una fonte legislativa o su un contratto27 –, Così è inteso anche nel diritto dell’Unione europea dove il termine – se si esclude l’omonima fonte normativa – è usato per indicare qualsiasi atto con cui le autorità competenti si pronunciano su un caso particolare con effetti giuridici sulla persona e/o sugli enti interessati: solo ad esempio, si v. la definizione di “decisione” contenuta nell’art. 5, comma 39, del Regolamento n. 952/2013. 23 La formulazione dell’articolo 22 non differisce dal suo precedente sotto questo aspetto. 24 M. MARTINI, ‘DS-GVO Art. 22 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling, in Datenschutz-Grundverordnung, a cura di Paal e Pauly, 1st edn, beck-online, 2017, Rn. 27, pp. 249 ss. 25 M. BRKAN, Do algorithms rule the world? algorithmic decision-making in the framework of the GDPR and beyond, in International Journal of Law and Information Technology 27, n. 2, 2019, pp. 91-121, ove riferimenti alla precedente dottrina. 26 Il Gruppo di lavoro articolo 29 è un organo consultivo europeo indipendente sulla protezione dei dati e la privacy. Si chiama articolo 29 perché è stato istituito ai sensi dell’articolo 29 della direttiva 95/46/CE. È composto da rappresentanti delle autorità di protezione dei dati degli Stati membri, dal Garante europeo della protezione dei dati e dalla Commissione europea. Il GDPR lo ha sostituito con il Consiglio europeo per la protezione dei dati. 27 Questo punto di vista è stato espresso anche dal Gruppo di Lavoro Articolo 29 sulla protezione dei dati (da ora in poi WP29) nelle sue linee guida, il quale sembra distinguere tra effetti derivanti direttamente dalla legge ed effetti derivanti dalla forza vincolante del contratto (e quindi 22 192 ALFIO GUIDO GRASSO sembra il caso di includervi anche quelle decisioni relative a situazioni giuridiche soggettive che, seppur non qualificabili in termini di diritti (per ragioni anche interne alla struttura di ogni singolo ordinamento), corrispondono a interessi particolarmente qualificati: come il caso di una pubblica amministrazione che utilizzi un algoritmo per decidere se concedere o meno licenze al fine di avviare un’attività commerciale o nuovi permessi edilizi28. Più incerto risulta invece determinare il significato della regola quando si riferisce a quelle decisioni che, pur non producendo effetti propriamente giuridici, incidono in modo altrettanto significativo sull’interessato29. Al riguardo il considerando 71 del Regolamento menziona come esempi di decisioni automatizzate che incidono sulla persona dell’interessato in modo altrettanto significativo alle decisioni giuridiche quei processi decisionali automatizzati che hanno luogo nell’ambito economico-produttivo, dove gli algoritmi sono sempre più utilizzati nelle procedure di concessione di prestiti bancari o per i processi di solo indirettamente dalla legge): Guidelines on Automated Individual Decision-Making and Profiling for the Purposes of Regulation 2016/679, 3 ottobre 2017, rivisto il 6 febbraio 2018, spec. p. 21. In questo senso, le linee guida offrono due tipi di esempi: i diritti derivanti dalla legge, come “il voto in un’elezione, o un’azione legale; il diritto o la negazione di un particolare beneficio sociale concesso dalla legge, come il sussidio per i figli o l’alloggio; il rifiuto di ammissione in un paese o la negazione della cittadinanza”; e quelli derivanti dal contratto, come “l’annullamento o la nullificazione di un negozio giuridico”. 28 Sul tema dell’uso di algoritmi da parte delle autorità pubbliche nel prendere decisioni v. D.W. SCHARTUM, From facts to decision data: about the factual basis of automated individual decisions, in Scandinavian Studies in Law, 2018, pp. 379 ss. M. SUKSI, Administrative due process when using automated decision-making in public administration: some notes from a Finnish perspective, in Artif Intell Law, 2021, 29, pp. 87 ss. 29 Sebbene ci possano essere decisioni da cui non derivano effetti, di solito si tratta di atti dai quali discendono delle conseguenze destinate a perdurare nel tempo. Le decisioni, infatti, a differenza di altri atti (come piani, suggerimenti o consigli), generano solitamente output vincolanti e duraturi, in quanto presuppongono una valutazione oramai conclusa. Allo stesso tempo però, poiché l’art. 22 GDPR non richiede alcun onere di forma per considerare un atto una decisione, anche un processo identificato come piano, dichiarazione d’intenti, consulenza o tappa intermedia o interlocutoria di un trattamento automatizzato, può rientrare nel campo di applicazione della disposizione, purché ne sussistano i requisiti di sostanza. Come suggerito anche dal WP29, occorre infatti adottare un approccio casistico, attento a considerare più il contenuto dell’atto che la sua veste formale: v. in questo senso R. BINNS e M. VEALE, Is that your final decision? Multi-stage profiling, selective effects, and Article 22 of the GDPR, in International Dat Privacy Law, 2021, vol. 00, n. 0, pp. 1 ss., spec. 11; D. KAMARINOU, C. MILLARD e J. SINGH, Machine Learning with Personal Data, Queen Mary School of Law Legal Studies, Research Paper n. 247, 2016, spec. p. 12; già L.A. BYGRAVE, Automated Profiling: Minding the Machine: Article 15 of the EC Data Protection Directive and Automated Profiling’, in Computer Law & Security Review, 2001, vol. 17. n. 1, 17 ss, spec. 19, espressasi sotto il regime dell’art. 15 della direttiva 95/46/CE ma con opinione che sembra aver mantenuto anche dopo l’introduzione del regolamento (ID., Article 22, cit., p. 532). GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 193 assunzione elettronica (senza intervento umano) di nuovi dipendenti, così come per il rifiuto automatico di una linea di credito. Lo stesso considerando non fa però alcun riferimento alle decisioni adottate nel settore sanitario e, dal canto suo, il WP29 nelle sue linee guida include le decisioni che condizionano l’accesso di una persona ai servizi sanitari tra quelle che incidono in modo significativo sulla persona, ma tace su qualsiasi altra decisione assunta all’interno di una un determinato contesto assistenziale. Ciò sembrerebbe gettare un’ombra sulla possibilità di considerare una diagnosi o un suggerimento terapeutico come una decisione automatizzata rilevante ai sensi dell’art. 22 GDPR, se non fosse che se ci riferiamo alla sfera della salute stiamo richiamando diritti riconosciuti dai principi fondamentali del diritto dell’UE in quanto riguardano il libero sviluppo della personalità, e pertanto le decisioni automatizzate che li limitano saranno decisioni che hanno “effetti giuridici”, riferendosi a situazioni in cui non è affatto escluso che si tratti di posizioni giuridiche nel senso pieno del termine30. In linea generale, un atto di diagnosi può senza dubbio essere considerato una decisione dalla quale derivano effetti giuridici in primo luogo se il suo scopo principale non sia quello di mantenere o ristabilire la salute del paziente ma di fornire un parere funzionale a ricostruire le implicazioni giuridiche di una condizione o di un evento. A questo proposito, si prenda il caso di una perizia medica eseguita nel contesto di un procedimento finalizzato al riconoscimento del versamento di una pensione di invalidità da parte di un ente previdenziale o a una perizia medico-legale volta ad accertare la responsabilità medica. In questa ipotesi, sebbene faccia appello alle competenze tecnico/scientifiche del prestatore e possa implicare attività tipiche della professione medica – come l’esame fisico del paziente o l’analisi della sua cartella clinica –, la perizia è eseguita non al fine diretto di tutelare la salute del soggetto ma di permettere ad un terzo di prendere una decisione produttiva di effetti giuridici nei confronti dell’interessato (o di altri)31. Tuttavia, è evidente che, nella maggior parte dei casi, lo scopo principale 30 Cfr. D. SCHÖNBERGER, Artificial intelligence in healthcare: a critical analysis of the legal and ethical implications, in International Journal of Law and Information Technology, 2019, 27, p. 171-203, spec. 191; C. SARRA, Il diritto di contestazione delle decisioni automatizzate nel GDPR, in Anuario Facultad de Derecho - Universidad de Alcalá XII, 2019, p. 33-69, spec. 46. 31 Il criterio dello scopo per il quale la prestazione sanitaria è resa è stato utilizzato dalla Corte di Giustizia al fine di determinare se a una prestazione sanitaria debba essere riconosciuto il beneficio dell’esenzione dall’imposta sul valore aggiunto. Al riguardo, i giudici europei hanno posto una distinzione tra prestazioni mediche effettuate allo scopo principale di tutelare – vuoi mantenendola vuoi ristabilendola – la salute, ovvero allo scopo di rendere un consulto richiesto preventivamente all’adozione di una decisione che produce effetti giuridici (in questo caso non applicandosi il beneficio): v. Corte di Giustizia, 20 novembre 2003, cause C212/01 e C-307/01; Corte di Giustizia, 14 settembre 2000, causa C-348/98). 194 ALFIO GUIDO GRASSO della diagnosi medica non sia quello di contribuire all’adozione di una decisione propriamente legale, ma piuttosto di migliorare o almeno salvaguardare le condizioni psicofisiche del paziente. Ma anche in questi casi, per così dire ordinari, la qualificazione in termini di ‘giuridicità’ degli effetti non sembra affatto esclusa, dato che qualsiasi intervento medico intercetta situazioni giuridiche soggettive particolarmente qualificate, attesa la natura di bene giuridico fondamentale che hanno per oggetto32. Una decisione terapeutica chiama in causa diritti riconosciuti dai principi fondamentali del diritto comunitario (artt. 32 e 35 Carta UE; 6, lett. a, 9, TUE; 36, 137, comma 1, lett. a, 168, 169, 191, TFUE) e, di conseguenza, induce a considerare le relative determinazioni come aventi “effetti giuridici”, nella misura in cui riguardano il libero sviluppo della personalità. Non sembrano infatti sussistere valide ragioni per differenziare – quanto agli effetti – tra decisioni terapeutiche prese attraverso mezzi manuali e decisioni assunte tramite mezzi automatizzati: l’eventuale decisione di rifiutare un trattamento sanitario basata su un procedimento automatizzato – un software che ad esempio calcoli come alto il rischio di reazioni avverse, e quindi escluda il paziente Y dalla terapia X, ovvero che consideri Z un paziente da ricoverare in via prioritaria rispetto a Q –, inciderebbe sul diritto alla salute nello stesso modo in cui potrebbe farlo una decisione presa da un medico senza l’assistenza di un CDSS. Prospettiva che non va limitata alla circostanza di una decisione errata, bensì estesa anche al più comune caso di una diagnosi automatica corretta. Infatti, ogniqualvolta abbia dato luogo alla scelta del trattamento farmacologico o chirurgico da intraprendere, la diagnosi automatizzata ha innescato una serie di conseguenze idonee ad incidere su beni primari fondamentali come la vita e l’integrità fisica. Risponde alla ratio di tutela dell’art. 22, primo comma, considerare quindi tali decisioni come generalmente vietate o, qualora siano autorizzate – ricorrendo una o più eccezioni di cui al secondo comma –, assicurare il diritto di impugnazione nonché le altre garanzie contenute nei commi 3 e 433. Una questione analoga potrebbe sorgere anche in relazione alle valutazioni a supporto dell’assunzione da parte di un’azienda privata, con il dubbio se si tratti di una decisione che ha effetti giuridici o di una decisione ‘solo’ altrettanto significativa. Se non fosse che, per quanto riguarda le decisioni automatizzate di assumere elettronicamente (senza intervento umano) nuovi dipendenti (così come di licenziarli), la risposta si trova già nel GDPR, in particolare nel considerando 71, e nelle stesse linee guida del WP29, dove queste decisioni sono incluse tra quelle che hanno effetti significativi simili alle decisioni giuridiche. 33 Sembra pertanto da ribaltare l’indirizzo secondo cui “in the case of ML [machine learning] for health, while there is generally not a legal effect, there could be significant effects on the data subject-patient if he is denied treatment based solely on an automated decision”: R. PIERCE, Machine learning for diagnosis and treatment. Gymnastics for the GDPR, in EDPL, 2018, 3, pp. 333 ss., spec. 32 GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 195 Infine, è bene precisare, a scanso di equivoci, che le conclusioni appena esposte non si applicano alle decisioni alle quali non faccia seguito un successivo atto di cura (come la prescrizione di una terapia o di un trattamento). Nel nostro modello ricostruttivo, solo le decisioni assunte nel contesto dell’assistenza sanitaria (come il ricovero in terapia intensiva o la diagnosi medica) rientrano nell’ambito di applicazione dell’articolo 22 del GDPR. Le valutazioni effettuate nel corso della ricerca medica o scientifica non sono comprese, poiché di norma sono prive di un impatto diretto “significativo” sui pazienti34. 3. Il problema delle decisioni parzialmente automatizzate. Quale ulteriore condizione per l’applicazione dell’art. 22 GDPR è necessario che la decisione sia basata su un trattamento (processing) completamente automatizzato. La disposizione – che sul punto non è mutata rispetto al precedente regime di cui all’art. 15 Direttiva 95/46/CE – è stata interpretata nel senso che anche un minimo intervento umano impedisce di considerare la decisione come integralmente automatizzata e quindi preclude l’applicazione del divieto35. Questa rigorosa interpretazione, condivisa anche dalla giurisprudenza tedesca36, 336. Sembrano dello stesso avviso M. MOURBY, K. Ó CATHAOIR e C. BJERRE COLLIN, Transparency of machine-learning in healthcare: The GDPR & European health law, in Computer law and security review, 2021, 43, pp. 1 ss, spec. 6. 35 V. “EU Introduces ‘Right to Explanation’ on Algorithms”, 2016, in http://fusion.net/ story/321178/european-union-right-to-algorithmic-explanation/, ove, tra le tante opinioni, rileva particolarmente quella di Calo, secondo il quale: “All a firm needs to do is introduce a human—any human, however poorly trained or informed—somewhere in the system,” e “[V]oila, the firm is no longer basing their decision ‘solely on automated processing.’”. Cfr. inoltre M. HILDEBRANDT, The Dawn of a Critical Transparency Right for the Profiling Era, Digital Enlightenment Yearbook, IOS Press, 2012, p. 41-56, spec. 50, il quale ammoniva sul rischio che se non fosse stata modificata la previsione contenuta nel Progetto della Commissione Europea del 2012 (suggerimento non raccolto) qualsiasi intervento umano avrebbe reso inapplicabile; S. WACHTER, B. MITTELSTADT e L. FLORIDI, Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation, in International Data Privacy Law, 2017, vol. 7, n. 2, p. 92, per i quali “the phrase ‘solely’ suggests even some nominal human involvement may be sufficient”; MARTINI, op. cit., pp. 249 ss. 36 Questa lettura rigorosa è stata condivisa dalla giurisprudenza tedesca nel caso SCHUFA, riguardante l’uso di sistemi automatizzati di credit-scoring. In questo caso, i giudici hanno ritenuto che il sistema di credit-scoring denominato SCHUFA non rientrasse nell’ambito delle norme tedesche che recepivano l’art. 15 Direttiva 95/46/CE (e quindi non fosse vietato) perché il trattamento automatizzato su cui si basava veniva utilizzato solo nella fase della raccolta delle informazioni e allestimento dell’istruttoria: Corte Federale Tedesca, BGH: Umfang einer von der SCHUFA zu erteilenenden Auskunft BGH, Urteil vom 28 January 2014 - VI ZR 156/13 (LG Gießen, AG Gießen) 34 196 ALFIO GUIDO GRASSO risulta altresì coerente con l’intenzione che ha informato il legislatore della riforma del 201637, ma non sembra in linea con quanto indicato dalla CGUE, la quale 490. Recentemente è emersa una nuova questione con protagonista il sistema di credit scoring SHUFA, quando il 25 ottobre 2021 il Tribunale Amministrativo di Wiesbaden ha deciso di sottoporre alla Corte di Giustizia due questioni pregiudiziali riguardanti l’ambito delle tutele ai sensi dell’art. 22 contro il processo decisionale automatizzato e la profilazione nel contesto del calcolo del punteggio di credito di un individuo (Causa C-634/21, in https://curia.europa.eu/juris/showPdf. jsf?text=decisioni%2Bautomatizzate&docid=250522&pageIndex=0&doclang=IT&mode=req&dir=&occ=first&part=1&cid=553414). Il caso riguarda una richiesta di risarcimento avanzata dopo che a un individuo era stato rifiutato un prestito sulla base di un punteggio basso fornito a una banca da SCHUFA. Quest’ultima si difende sostenendo di limitarsi a calcolare i punteggi per valutare l’affidabilità creditizia delle persone, di prevedere, sulla base di questo punteggio e di altre caratteristiche della persona, la probabilità di un comportamento futuro (ad esempio, il rimborso di un prestito) e di condividere queste informazioni con i loro clienti (come le banche). Le agenzie di rating del credito sostengono che, calcolando il punteggio e condividendolo con i loro clienti, si limitano a tracciare il profilo delle persone e non prendono alcuna decisione automatizzata ai sensi dell’art. 22, in quanto le decisioni effettive sulle persone sono prese dai loro clienti. Il Tribunale tedesco ha esaminato il caso e ha deciso di rivolgersi alla CGUE per chiarire se il calcolo da parte delle agenzie di credito del punteggio di credito di un individuo e la divulgazione di questo punteggio a terzi (come le banche) senza ulteriori commenti o raccomandazioni rientri lo stesso nell’ambito di applicazione della disposizione. Il Tribunale ha ritenuto che fosse possibile sostenere che anche la sola elaborazione del punteggio rappresentasse una “decisione” rilevante ai sensi dell’art. 22; e ha osservato che, anche se in linea di principio il cliente dell’agenzia di credito (una banca, un operatore di telecomunicazioni o un proprietario di casa) potrebbe prendere una decisione diversa sulla base di indicatori altri dal valore del punteggio (portando esempi in cui a individui con un buon punteggio erano stati comunque rifiutati prestiti), in pratica i punteggi di credito svolgono un ruolo decisivo nella concessione di prestiti e nella elaborazione delle condizioni di prestito, e valori di punteggio insufficienti conducono al rifiuto di prestiti al consumo nella maggioranza dei casi. Visto il diffuso utilizzo dei punteggi SCHUFA nel commercio quotidiano, la decisione della CGUE e la pronuncia del giudice tedesco che ne seguirà avranno enormi implicazioni pratiche sui contratti in Germania e, in generale, in Europa, oltre a chiarire l’ambito di applicazione della norma rispetto alla questione se l’elaborazione di un punteggio di credito costituisca già una decisione rilevante ai sensi dell’art. 22 GDPR. 37 Sembra da leggere in questo senso il rigetto degli emendamenti proposti dal Parlamento europeo al progetto della Commissione europea volti ad aggiungere l’avverbio “prevalentemente” accanto a “solamente” al fine di ampliare il campo di applicazione della disposizione: v. Commissione per le libertà civili, la giustizia e gli affari interni del Parlamento europeo, “Report on the Proposal for a Regulation of the European Parliament and of the Council on the Protection of Individuals with Regard to the Processing of Personal Data and on the Free Movement of Such Data (General Data Protection Regulation) COM(2012)0011 – C70025/2012 – 2012/0011(COD)”, in https://www. europarl.europa.eu/doceo/document/A-7-2013-0402_EN.html. L’omissione di qualsiasi riferimento a “prevalentemente” nella versione finale dell’articolo è significativa della volontà del legislatore di restringere il campo di applicazione del Regolamento alle decisioni prese al l’esito di processi svolti in assenza di qualsiasi intervento umano: si mostrano di quest’opinione G. MALGIERI e G. COMANDÉ, Why a Right to Legibility of Automated Decision-Making Exists in the General Data Protection Regu- GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 197 già espresso argomenti a favore di una visione meno formalistica del concetto di ‘controllo umano’38. Infatti, se qualsiasi “intromissione” umana – per quanto scarsamente qualificata o priva di effettiva autonomia – potesse sottrarre la decisione al regime di cui all’art. 22 GDPR, si determinerebbe un sostanziale svuotamento di contenuto della previsione, e quindi una radicale riduzione di tutele rispetto a una serie di decisioni, potenzialmente significative, adottate all’esito di procedimenti semi-automatici: in cui la mediazione umana spesso si riduce a un intervento meramente formale o di carattere soltanto nominalistico39. Si impone di conseguenza l’esigenza di correggere in via interpretativa la norma, al fine di conservarne anche il significato precettivo, escludendo che una qualsiasi ingerenza umana possa impedire l’applicazione della disciplina e, al contempo, precisando i requisiti ai quali l’intervento dell’uomo deve rispondere per poter sottrarre la decisione al regime delle decisioni automatizzate. Va pertanto promossa una nozione relativa (cioè relativizzata) del concetto di “processo decisionale automatizzato”, basata sia su un’interpretazione sistematico/generale del Regolamento sia su una diversa lettura della formula contenuta nell’art. 22 primo comma, in linea con le indicazioni provenienti dalla giurisprudenza della Corte di Giustizia, la quale ha espresso argomenti a favore di un’interpretazione meno formalistica del concetto di “controllo umano”40. Ri- lation, in International Data Privacy Law, vol. 7, p. 14. 38 Cfr. il Parere 1/15 della CGUE (Grande Camera) sull’Accordo PNR (Passenger Name Record) UE-Canada, 26 luglio 2017, disponibile all’indirizzo https://curia.europa.eu/juris/document/ document.jsf?text=decisioni%2Bautomatizzate&docid=193216&pageIndex=0&doclang=it&mode=req&dir=&occ=first&part=1&cid=544762#ctx1 (in particolare v. p. 173). 39 Per rimanere nell’esempio del credit scoring, si rifletta sul fatto che di solito, in questo campo, gli algoritmi forniscono un punteggio (che rappresenta il risultato dell’analisi dei potenziali clienti) e le aziende si limitano ad applicare condizioni di particolare vantaggio o a negare servizi di base a seconda del rating espresso dall’algoritmo (v. nt. 35). Di regola, la decisione di applicare o negare condizioni più favorevoli non richiede alcuno sforzo di valutazione, tanto da essere stata messa in discussione (neanche troppo provocatoriamente) la sua stessa natura “umana”: G. MALGIERI e G. COMANDÉ, op. cit., p. 13. Se seguissimo l’approccio secondo cui qualsiasi intervento dell’uomo qualificherebbe la decisione come non completamente automatizzata, se ne avrebbe come risultato la totale estromissione dell’art. 22 dalle dinamiche aziendali delle imprese che operano nel settore della valutazione del rischio legato al credito. Le imprese, infatti, potrebbero aggirare la regola semplicemente assicurando un qualsiasi intervento umano: anche nominale o a conclusione del procedimento (automatizzato): v. E. TROISI, AI e GDPR: l’Automated Decision Making, la protezione dei dati e il diritto alla intellegibilità dell’algoritmo, in European Journal of Privacy Law & Technologies, 1/2019, pp. 41 ss., spec. 47. 40 V. il parere 1/15 della Corte di Giustizia (Grande Camera) sull’accordo UE-Canada relativo al codice di prenotazione passeggero (PNR), 26 luglio 2017, in https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:62015CV0001(01)&from=EN. In quel caso i giudici eu- 198 ALFIO GUIDO GRASSO spetto al primo profilo, solo in una prospettiva più intransigente, ossia meno formalistica, sarebbe possibile garantire le finalità di tutela che l’art. 22 è chiamato ad assicurare secondo quanto emerge dal considerando 71: previsione ove sono riportati, come esempi di decisioni dalle quali il soggetto deve essere protetto, alcune tra le pratiche maggiormente esposte al rischio di rimanere escluse dall’ambito di applicazione del divieto se si addivenisse all’interpretazione formalistica qui criticata41. Secondo questo approccio che potremmo definire – per contrapposizione – sostanzialista, le decisioni “formally attributed to humans”, ma in realtà aventi origine “from an automated data-processing operation the result of which is not actively assessed by either that person or other persons before being formalized as a decision”, sarebbero comprese tra le decisioni automatizzate e quindi incluse nell’ambito di applicazione del divieto42. Approccio che trova riscontri anche nel testo della disposizione, nella misura in cui si esprime in termini di decisioni “basate unicamente sul trattamento automatizzato” e non di “trattamenti decisionali esclusivamente automatizzati” – ossia integralmente svolti da attori digitali: con la conseguenza che la previsione risulta applicabile anche qualora sia un operatore umano (“human in the loop”) a intestarsi formalmente la decisione, nonostante l’intera “preparatory evidence and discretional judgments (e.g. scoring) are fully based on automated means”43. ropei hanno sostenuto che, “since the automated analyses of PNR data necessarily involve some margin of error, as stated in paragraph 169 of this Opinion, any positive result obtained following the automated processing of that data must, under Article 15 of the envisaged agreement [a norma del quale “il Canada non può prendere decisioni che arrechino un significativo pregiudizio ai passeggeri unicamente sulla base del trattamento automatizzato dei dati PNR”], be subject to an individual re-examination by non-automated means before an individual measure adversely affecting the air passengers concerned is adopted. Consequently, such a measure may not, under Article 15, be based solely and decisively on the result of automated processing of PNR data”. 41 In particolare faccio riferimento ai rifiuti automatizzati di una domanda di credito online e alle pratiche di e-recruiting, i quali sono menzionati quali esempi di decisioni da cui la persona interessata deve essere protetta. 42 L.A. BYGRAVE, Automated Profiling: Minding the Machine: Article 15 of the EC Data Protection Directive and Automated Profiling, cit., p. 19. L’A. distingue in inglese tra “solely automated decision-making” e decisioni basate “solely on automated processing” (che è l’equivalente dell’espressione italiana “decisione basata unicamente sul trattamento automatizzato”). 43 G. MALGIERI e G. COMANDÉ, op. cit., p. 13. Ha adottato un approccio in parte ambiguo il WP29. Il Gruppo di lavoro, nelle sue linee guida (p. 20), prima dichiara che “solely” – il termine contenuto nel testo inglese del Regolamento – deve essere interpretato nel senso di “any human involvement in the decision processing”. Tuttavia, poco dopo (quasi come a voler precisare la dichiarazione iniziale), aggiunge che “the controller cannot avoid the Article 22 provisions by fabricating human involvement”: ad esempio nel caso in cui “someone routinely applies automatically generated profiles to individuals without any actual influence on the result, this would still be a decision based solely on automated processing”. Secondo il Gruppo di lavoro, per qualificarsi come coinvolgimento umano, GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 199 Peraltro, è proprio laddove l’intervento dell’uomo sopraggiunge solo a conclusione del procedimento che assume maggiore rilevanza assicurare le tutele di cui all’art. 22 GDPR. In mancanza di un’interpretazione sostanzialistica della norma, in questi casi si avrebbe che il destinatario della decisione, già spogliato (de facto) del controllo umano – controllo che, se interviene alla fine della procedura e da parte di un soggetto privo dei sufficienti poteri, si riduce ad una verifica meramente formale, incapace di colmare il gap di comprensibilità e prossimità verso i bisogni dell’altro connaturato ai sistemi automatizzati44 – non godrebbe “the controller must ensure that any oversight of the decision is meaningful, rather than just a token gesture. It should be carried out by someone who has the authority and competence to change the decision. As part of the analysis, they should consider all the relevant data”. Afferma inoltre che “if a human being reviews and takes account of other factors in making the final decision, that decision would not be ‘based solely’ on automated processing”. In ogni caso, questa interpretazione non ha convinto tutti gli interpreti. Secondo alcuni autori, il WP29 avrebbe creato più confusione di quanta ce ne fosse stando alla lettera della legge, avendo generato il problema di determinare fino a che punto un intervento umano debba estendersi per potersi considerare una decisione come non basata esclusivamente sul trattamento automatizzato: G. NOTO LA DIEGA, Against the Dehumanisation of Decision-Making – Algorithmic Decisions at the Crossroads of Intellectual Property, Data Protection, and Freedom of Information, in JIPITEC 3, 2018, 9, par. 1, pp. 1 ss., spec. 19. Questa osservazione sembra appropriata, e probabilmente questa confusione è dovuta alle differenze che si registravano all’interno del Gruppo, tra coloro che volevano rimanere più fedeli all’interpretazione letterale della disposizione e altri che volevano espandere il suo campo semantico. Ad ogni modo, al di là delle ambiguità terminologiche, appare incontrovertibile che per il WP29 “solely” non significhi senza alcun coinvolgimento umano ma senza alcun coinvolgimento umano “significativo”: E. PELLECCHIA, Profilazione e decisioni automatizzate al tempo della black box society: qualità dei dati e leggibilità dell’algoritmo nella cornice della responsible research and innovation, in Nuove leggi civ. comm., 2018, pp. 1209-1235, spec. 1225. Per quanto le linee guida non siano vincolanti, in altre occasioni hanno dimostrato di essere particolarmente persuasive tra gli studiosi, le autorità di protezione dei dati personali e gli organi giurisdizionali; di conseguenza, tranne a non riconoscere portata a questo strumento, dobbiamo ritenere corretto escludere che un intervento umano senza reale influenza sull’esito della decisione possa essere sufficiente a negare l’applicabilità dell’art. 22. Piuttosto, ciò che sembra mancare nell’approccio del WP29 è la negazione di qualsiasi valore all’intervento umano effettuato nelle fasi precedenti la decisione. Il Gruppo si concentra solo sulla necessità di un intervento umano nella fase finale del procedimento, dimenticando che, in sistemi decisionali complessi, all’essere umano può essere riservato un ruolo sostanziale in una fase anche solo lontanamente precedente quella finale: C. KUNER et al., Machine learning with personal data: is data protection law smart enough to meet the challenge?, in International Data Privacy Law, 2017, vol. 7, n. 1, pp. 1 ss., spec. 2; C. SARRA, Put Dialectics into the Machine: Protection against Automatic-decision-making through a Deeper Understanding of Contestability by Design, in Global Jurist, 2020, 4. In questo modo il WP29 sembra inoltre sopravvalutare ciò che un essere umano può fare nella fase conclusiva di un processo interamente basato su mezzi automatici. Con il rischio concreto di avere un effetto controproducente se si considera solo il peso della responsabilità dell’essere umano coinvolto nella fase finale della procedura (v. testo). 44 Senza bisogno di richiamare l’etimologia greca dei termini simpatia e empatia, prossimità qui è intesa come riconoscimento della comune matrice “umana”, come capacità di simpatizzare 200 ALFIO GUIDO GRASSO nemmeno delle garanzie disposte dalla legge, in quanto la stessa presenza di un operatore all’interno del procedimento escluderebbe la possibilità di considerare la decisione come “basata unicamente sul trattamento automatizzato” (e quindi l’applicazione del regime di cui all’art. 22 GDPR). In questi casi, infatti, l’operatore si trova a fronteggiare un dilemma: o confermare la decisione presa dalla macchina, o modificarla (sostituendola financo), addossandosi però l’onere di dover giustificare la scelta agli occhi della propria organizzazione (e perché no: dei propri pazienti), nonché assumendosi il rischio di eventuali conseguenze risarcitorie di tipo (quantomeno) civilistico o contabile45. A parità di mancanza di motivazioni – elemento che caratterizza tutti i dispositivi di machine learning – risulta più agevole confermare i risultati che adottare una posizione diversa in quanto, se discostarsi dal giudizio della macchina richiede necessariamente la conoscenza della sua logica (se non altro per giustificarsi agli occhi della propria organizzazione ed evitare di incorrere in responsabilità), confermare la decisione non richiede una pari conoscenza esaustiva delle cause, dovendosi presumere, stante la bassa percentuale di errore diagnostico (generalmente inferiore a quella dell’uomo), che la macchina abbia adottato la decisione più corretta46. A ciò si aggiunga anche il rilievo che assume la c.d. “fallacia computazionale”, ovvero l’idea che una decisione presa da un computer sia in qualche modo più valida o accurata di una decisione umana: si tratta di un bias potenzialmente molto pericoloso non solo perché mina le capacità decisionali del medico, ma anche perché compromette la fiducia del paziente nel professionista. 3.1. (Segue). Diagnosi automatiche, semiautomatiche e controllo del medico. Il tema delle decisioni parzialmente automatizzate risulta particolarmente rilevante proprio in relazione al settore della diagnosi medica e degli interventi di cura e assistenza, in quanto le decisioni esclusivamente automatizzate sono poco frequenti in questo ambito. Non sono infatti ancora disponibili sul mercato sistemi di supporto decisionale alla diagnosi capaci di prescindere dal contributo dei sanitari. Contributo del medico che si concretizza innanzitutto nell’individuazione dei sintomi: se escludiamo l’ipotesi che sia il paziente stesso a inserire la descrizione dei suoi disturbi nel sistema47, è il professionista infatti che, dopo verso gli altri e di provare empatia verso i loro bisogni. 45 C. SARRA, ibidem. 46 Oltre alle varie ricerche già menzionate (v. ntt. 10-18), si può richiamare l’uso (rivelatosi particolarmente efficiente) dell’intelligenza artificiale nella diagnosi precoce dell’autismo (info in https://www.stateofmind.it/2021/04/autismo-intelligenza-artificiale/). 47 Quando è il paziente stesso a inserire i sintomi (come nel caso BabylonHealth, v. nt. 18) siamo al di fuori dei sistemi di supporto alla clinica o alla diagnosi. In quel caso si tratta di un’ipotesi di autodiagnosi per la quale è necessario un livello di trasparenza ancora più elevato di quello GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 201 un primo esame e l’ascolto, inserisce nell’apposita finestra di dialogo gli indici riconosciuti come rivelatori della patologia, ricavati anche attraverso l’utilizzo di esami strumentali48. Una volta inseriti i sintomi, e raccolti ulteriori dettagli relativi al paziente e alla sua storia clinica personale e familiare, l’algoritmo mira a identificare, attraverso una serie di domande, i fattori medici più rilevanti alla luce delle informazioni iniziali, come tali da sottoporre in via prioritaria all’attenzione del paziente, emulando il processo decisionale di un esperto umano49. Suc- richiesto per i sistemi di supporto alla diagnosi, al fine di assicurare il diritto dei pazienti di fare scelte informate. Ma si tratta di problemi che, per quanto prossimi a quelli indagati, non sono propriamente oggetto di indagine in questo lavoro, e per i quali si rinvia a MOURBY, CATHAOIR e BJERRE COLLIN, op. cit., pp. 1 ss. 48 Bisogna considerare che, di recente, si è registrato un grande sviluppo nel campo delle procedure telediagnostiche a distanza, a causa della pandemia. Da un lato la carenza di medici, spesso impegnati nell’assistenza in prima linea, e dall’altro la necessità di evitare il contatto umano per ridurre il contagio, hanno portato a un aumento della domanda di dispositivi in grado di valutare le condizioni dei pazienti COVID senza la presenza fisica del medico. Per valutare le condizioni dei pazienti COVID senza il contatto diretto con il sanitario sono stati sviluppati diversi strumenti di telediagnostica. Il sistema include, per esempio, un tampone nasofaringeo, un’ispezione della cavità orale, l’auscultazione del torace, la percussione e la palpazione dell’addome, tramite terminali robotici. La palpazione, la percussione e l’auscultazione sono basate su un sistema di microfoni collegati al computer in tempo reale tramite interfaccia audio. Il medico è collegato utilizzando invece un’interfaccia utente di nuova concezione e un robot guida, con controllo rapido del ritorno di forza (force feedback), che permette movimenti precisi e veloci grazie al robot addetto al monitoraggio del paziente: v. J. FUCHTMANN et all, COVID-19 and beyond: development of a comprehensive telemedical diagnostic framework, in International Journal of Computer Assisted Radiology and Surgery (2021) 16:1403-1412, https://doi.org/10.1007/s11548-021-02424-y. Tutto ciò suggerisce che, nel momento in cui si arriverà ad integrare completamente (e a far procedere di pari passo) l’intelligenza artificiale c.d. virtuale (cartelle cliniche elettroniche, software per la pianificazione di diagnosi e terapie etc. etc.) con l’intelligenza artificiale c.d. fisica (assistenza chirurgica tramite robot, protesi intelligenti, ecc.), l’utilizzo dei CDSS avrà raggiunto un significato diverso (e più comprensivo) di quello che assume oggidì, determinando altresì un radicale cambiamento di paradigma nella figura del medico per come l’abbiamo conosciuta finora: su questa distinzione tra intelligenza artificiale virtuale e fisica in campo medico v. P. AMISHA MALIK, M. PATHANIA e V.K. RATHAUR, Overview of artificial intelligence in medicine, in J. Fam. Med. Prim. Care, 2019, 8, p. 2328-2331; J. ISSA et al., The Effectiveness of Semi-Automated and Fully Automatic Segmentation for Inferior Alveolar Canal Localization on CBCT Scans: A Systematic Review, in Int. J. Environ. Res. Public Health, 2022, 19, p. 560. Tuttavia, non bisogna nemmeno suscitare aspettative eccessivamente elevate, poiché questi strumenti non sono (né probabilmente saranno) sempre in grado di sostituire il supporto umano, almeno stando al precedente nel campo della ricerca COVID-19, dove i software per la diagnosi automatica dell’omonima infezione con la tomografia computerizzata del torace, si sono rivelati strumenti utili ma non in grado di sostituire i tamponi molecolari, come si era ipotizzato: per queste riflessioni si rinvia a DI ROSA, I robot medici, in questo volume a p. 121. 49 Le domande si determinano in modo dinamico e continuativo, in base alle risposte del paziente e alla conoscenza che il sistema ha dei dati di addestramento. 202 ALFIO GUIDO GRASSO cessivamente, il software fornirà una serie di possibili diagnosi, classificandole in base alla probabilità e indicando quelle più pericolose, insieme alle rispettive terapie e indicando le risorse bibliografiche o via web dove approfondire le potenziali diagnosi (dalla divulgativa Wikipedia a fonti mediche specializzate come UptoDate). A parte l’estremo interesse in termini di personalizzazione delle cure, queste tecnologie prescindono quindi solo in parte dall’intervento del medico: la cui attività è peraltro indispensabile – anche nei sistemi più spiccatamente automatici (come quelli basati sulla radiomica50) – per interpretare poi i risultati, nonché per tradurre in pratica la risposta terapeutica di cui il software ha previsto l’efficacia. Cionondimeno, sebbene si tratti di decisioni che, essendo prese in ultima istanza dai medici, non sono soggette al divieto generale dell’art. 22, comma 1, permangono importanti oneri di trasparenza nei confronti dei pazienti, i quali dovrebbero essere informati della profilazione e delle conseguenze che ne derivano. Non basta infatti evocare la loro natura di strumenti di supporto alle decisioni cliniche che non necessitano del consenso esplicito (art. 22, comma 2, lett. c) (o delle altre deroghe) per risultare legittimi: l’esclusione dalla disciplina 50 La radiologia è l’area della scienza medica in cui il contributo dell’intelligenza artificiale ha inciso di più. Da un primo momento con il c.d. computer-aided detection (CAD), una tecnologia progettata per ridurre le disattenzioni osservative – e quindi i tassi di falsi negativi – dei medici impegnati nell’interpretazione delle immagini mediche, fino ai recenti sviluppi della radiomica: per un excursus v. B. SAHINER e N. PETRICK, Evaluation of CAD and Radiomic Tools, in The Handbook of Medical Image Perception and Techniques, a cura di Samei e Krupinski, Cambridge, 2018, 389-406. La radiomica è quel campo di ricerca emergente incentrato sull’estrazione e l’analisi di caratteristiche quantitative dalle immagini mediche. Le immagini mediche (MRI, CT, raggi x) e/o le loro caratteristiche radiomiche vengono analizzate con programmi di machine learning o deep learning per elaborare modelli predittivi della patologia o delle conseguenze del trattamento. Si tratta di un approccio quantitativo all’imaging medico, che mira a migliorare i dati a disposizione dei medici attraverso un’analisi matematica avanzata. Grazie a questa tecnologica, le immagini mediche ottenute da esami come la TAC, la risonanza magnetica o la PET vengono convertite in dati numerici. Questi dati vengono poi elaborati da strumenti di calcolo appositi e la loro gestione e analisi passa attraverso l’uso di tecniche avanzate quali i sistemi di intelligenza artificiale e i “big data”. Dalla radiomica, e quindi dall’estrazione e analisi delle caratteristiche quantitative delle immagini mediche, è possibile creare dei modelli di supporto alla decisione clinica, capaci di ridurre drasticamente il lavoro dei radiologi, giacché non richiedono una selezione manuale delle immagini né una loro pre-elaborazione: per alcuni riferimenti di base v. A. RETICO, Applicazioni di radiomica e intelligenza artificiale all’imaging medico: potenzialità e criticità, in 1060 Congresso nazionale società italiana di fisica, 14-18 settembre 2020, in https://static.sif.it/SIF/resources/public/files/congr20/ri/Retico.pdf. Nondimeno si tratta di attività solo apparentemente sottratte ai medici, giacché la radiomica permette di ottenere informazioni che l’occhio umano non potrebbe ottenere e che la stessa mente umana non potrebbe elaborare a causa della loro quantità e complessità al momento della refertazione ma che occorre interpretare e tradurre in risposta operativa. GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 203 dei processi decisionali automatizzati non implica anche la mancata applicazione dei requisiti di trasparenza che il GDPR impone in (tutti) i casi di trattamento automatizzato dei dati (a prescindere che faccia seguito o no una decisione). Per quanto alcuni autori abbiano suggerito che il Regolamento richieda minime informazioni sul trattamento automatizzato quando le decisioni siano (anche marginalmente) mediate dall’uomo51, altri hanno sostenuto un’interpretazione più stringente degli obblighi di trasparenza52: interpretazione avallata anche dalle linee guida del Gruppo di Lavoro Articolo 2953. Il WP29 ha chiarito che l’intervento umano non sottrae il trattamento automatizzato dalle regole della profilazione, almeno finché i dispositivi di machine learning vengano utilizzati per valutare o prevedere aspetti riguardanti la salute della persona. In particolare si sostiene “where the processing involves profiling-based decision making (irrespective of whether it is caught by Article 22 provisions), then the fact that the processing is for the purposes of both (a) profiling and (b) making a decision based on the profile generated, must be made clear to the data subject”. Di conseguenza, anche quando siano i medici ad assumere la decisione clinica finale, la modellazione predittiva rientrerà nella definizione di profilazione contenuta nel GDPR e sarà soggetta ai suoi requisiti di trasparenza rafforzata. Sul piano normativo, quanto esposto si desume dal considerando 60, il quale integra la disposizione relativa ai principi applicabili al trattamento dei dati personali (art. 5). Dal combinato disposto del considerando 60 e dell’art. 5, comma 1, lett. a, si ricava che “l’esistenza di una profilazione e le conseguenze della stessa” rientrano tra gli obblighi di trasparenza e comunicazione che il responsabile del trattamento è chiamato ad assolvere nei confronti dell’interessato. A questo proposito, tuttavia, è stato riscontrato come la disposizione sia disattesa nei suoi precetti di trasparenza, in quanto il responsabile del trattamento spesso non è in grado di fornire ai pazienti le informazioni complete e significative che la disposizione richiederebbe. Una spiegazione completa delle ‘conseguenze’ imporrebbe infatti che le persone interessate (in questo caso, i pazienti) fossero informate sui fattori che influenzano i loro punteggi di rischio, che a loro volta incidono sulle decisioni prese in merito alla loro assistenza sanitaria. I pazienti WACHTER, MITTELSTADT, FLORIDI, op. cit., pp. 76 ss. A.D. SELBST e J. POWLES, Meaningful information and the right to explanation, in International Data Privacy Law, 2017, 7, pp. 4 ss.; BRKAN, op. cit., pp. 91 ss.; M.E. KAMINSKI, The Right to Explanation, Explained, in Berkley Technology Law Journal, 2019, 34, pp. 189 ss.; G. MALGIERI e G. COMANDÉ, op. cit., pp. 13 ss.; B. CASEY, A. FARHANGI e R. VOGL, Rethinking Explainable Machines: The GDPR’s “Right to Explanation” Debate and the Rise of Algorithmic Audits in Enterprise, in Berkeley Technology Law Journal, 2019, 34, pp. 143 ss. 53 Gruppo di lavoro Articolo 29, linee guida sul processo decisionale automatizzato e profilazione, pp. 16 e 17. 51 52 204 ALFIO GUIDO GRASSO potrebbero aver bisogno di sapere quali caratteristiche dei loro dati sanitari hanno un impatto sulla loro assistenza (cioè un’esposizione di quali fattori medici sono importanti per i risultati del modello)54; in linea, peraltro, con le indicazioni che i medici spesso intendono fornire ai loro pazienti, consentendo loro di comprendere meglio la gravità della situazione e i fattori di rischio modificabili (ad esempio, il fumo, il consumo di alcol, ecc.). Ciò presupporrebbe, a monte, da parte dei responsabili del trattamento, una conoscenza sufficiente dei fattori clinici alla base delle previsioni di un modello, in modo che i risultati possano essere poi integrati nel contesto di una spiegazione medica, così da fornire ai pazienti una rappresentazione attendibile delle ‘conseguenze’ della profilazione. Sebbene ciò non significhi necessariamente che i modelli fondati sull’apprendimento automatico debbano essere in sé ‘spiegabili’ o interpretabili, questo elevato standard di trasparenza mette in evidenza, anche sul piano legale, l’importanza della comprensione da parte dei medici delle caratteristiche cliniche più rilevanti di una previsione basata sul ML, nel caso in cui si avvalgano di tali strumenti55. 4. Diagnosi “automatiche” e vincoli legali a consistenza variabile. Lo standard di trasparenza da garantire nel caso di sistemi decisionali parzialmente automatizzati resta comunque inferiore a quello delle decisioni esclusivamente automatizzate, in relazione alle quali l’interessato ha diritto a ‘informazioni significative sulla logica coinvolta’, fornite in una forma ‘comprensibile e facilmente accessibile’ (artt. 13, comma 2, lett. f, 14, comma 2, lett. g, 15, comma 1, lett. h). Tuttavia, prima di soffermarci sulla sufficienza e l’estensione di queste ‘informazioni significative’, e se corrispondano, o meno, a una vera e propria ‘spiegazione’ dei risultati (v. § 5), occorre verificare la consistenza di quegli indici normativi che sembrano negare l’ammissibilità stessa dei sistemi decisionali automatizzati nel settore sanitario. Verifica che può sembrare meramente speculativa o proiettata in un tempo ancora lontano da venire, ma che in realtà risulta più prossimo di quanto si possa ictu oculi supporre, se solo si considera che modelli spiccatamente automatizzati sono già stati sviluppati nel contesto dell’accesso alle cure: sistemi progettati per ridurre al minimo l’interazione con il medico, capaci di decidere quali soggetti debbano essere ricoverati in emergenza o trasferiti in terapia intensiva e quali invece possano attendere il ricovero in via V. E. ŠTRUMBELJ e I. KONONENKO, Explaining prediction models and individual predictions with feature contributions, in Knowledge and Information Systems, 2014, 41, pp. 3 ss. 55 Così MOURBY, CATHAOIR e BJERRE COLLIN, op. cit., p. 7. 54 GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 205 ordinaria56. Tale sviluppo è stato accelerato dall’insorgere della recente epidemia da COVID-19, che ha provocato un affollamento degli ospedali, una carenza di personale e, in alcuni casi, un contingentamento delle cure; motivo per cui importanti centri di ricerca scientifica hanno progettato sistemi di apprendimento automatico in grado di fornire assistenza ai medici impegnati nel contrasto alla pandemia57. L’uso dell’intelligenza artificiale in questo campo si è rivelato efficace non solo rispetto all’esigenza di decongestionare gli ospedali, ma anche per ridurre il rischio di ricoveri inutili nonché al fine di trasferire più rapidamente un soggetto in un’unità di recupero o di terapia intensiva, ottenendo così una maggiore probabilità di successo58. Ostacoli all’ammissibilità di questi sistemi sono stati innanzitutto individuati nell’art. 22, comma 4, GDPR. Si è già illustrato, ma è opportuno ribadirlo in questo contesto, che l’art. 22 stabilisce il diritto generale delle persone di non essere soggette a decisioni legali o comunque significative basate esclusivamente su un trattamento automatizzato. Il comma secondo, tuttavia, stabilisce talune eccezioni a questo diritto: è consentito assumere decisioni esclusivamente automatizzate se autorizzato dalla legge, se necessario per il contratto o se è stato ottenuto il consenso esplicito dell’interessato. Cionondimeno, anche quando risultano consentite, le decisioni automatizzate sono soggette a un’ulteriore restrizione, contenuta nel quarto comma, secondo cui non possono basarsi sulle categorie particolari di dati personali elencate nell’art. 9, comma 1. Questo riferimento assume particolare importanza se riportato al contesto medico, in quanto i dati sanitari (e i dati genetici) rientrano nelle categorie speciali di dati personali di cui A parte i sistemi già richiamati (v. ntt. 13 e 17), tra i tanti si consideri il sistema della start-up danese CORTI, nella cui descrizione si legge che utilizza il riconoscimento vocale e l’apprendimento automatico per ottimizzare il triage medico. Corti è un assistente digitale basato sulla voce e dotato di un’intelligenza artificiale all’avanguardia, in grado di comprendere i pazienti che parlano in linguaggio naturale. La tecnologia viene utilizzata per analizzare le chiamate di emergenza in tempo reale, per identificare i segni di arresto cardiaco, oltre che per guidare il dialogo e migliorare la diagnostica durante i consulti medico-paziente (https://www.idc.com/getdoc.jsp?containerId=EUR147147320). Un quadro delle principali ricerche si ritrova in J. MILES et al., Using machine-learning risk prediction models to triage the acuity of undifferentiated patients entering the emergency care system: a systematic review, in Diagnostic and Prognostic Research, 2020, 4:16. 57 V. l’intervista al Dr. Ron Li, professore assistente clinico presso la Stanford Medicine, direttore dell’informatica medica per l’integrazione clinica della salute digitale e dell’intelligenza artificiale, in https://www.marketplace.org/shows/marketplace-tech/how-artificial-intelligence-could-influence-hospital-triage/. 58 Si tratta di modelli di AI basati su un sistema che identifica la risposta giusta sulla base di esempi di coppie domanda-risposta. Questo approccio, chiamato model-driven AI (o AI simbolica), richiede un enorme set di dati con un’etichettatura perfetta (“labelling”); ed è in grado di elaborare le immagini, decostruendole in colori, linee e forme, che vengono poi confrontate con regole esplicite. 56 206 ALFIO GUIDO GRASSO all’art. 9. Pertanto, come regola generale, non sarebbe mai consentito assumere decisioni automatizzate in questo ambito, dal momento che – per definizione – vengono trattati dati strettamente personali come quelli relativi alla salute. Esistono tuttavia importanti eccezioni al divieto di basare decisioni automatizzate su dati sensibili: tali da mettere in discussione l’assolutezza dell’opinione che ritiene il divieto tendenzialmente insuperabile59. Sono consentite infatti nella misura in cui trovino applicazione le disposizioni di cui all’art. 9, comma 2, lett. a) o g): cioè, se è stato ottenuto il consenso esplicito dell’interessato (art. 9, lett. a), oppure b) se il trattamento è necessario per motivi di interesse pubblico, sulla base del diritto dell’UE o degli Stati membri, proporzionato alla finalità perseguita (art. 9, comma 2, lett. g). 4.1. Quando il processo decisionale automatizzato è autorizzato dal diritto europeo o nazionale. Un processo decisionale automatizzato può essere autorizzato innanzitutto dalla legislazione europea o degli Stati membri. Va innanzitutto rilevato che l’eccezione basata sul diritto europeo o nazionale compare già tra quelle che legittimano le decisioni automatizzate in generale (art. 22, comma 2, lett. b), ma con la significativa differenza che in quel contesto viene richiamato il diritto dell’Unione Europea o degli Stati membri tout court, senza ulteriori precisazioni; mentre, quando è menzionata come eccezione che legittima l’adozione di decisioni automatizzate basate su dati sensibili (art. 22, comma 4), si allude specificamente – tramite il rimando all’art. 9, comma 2, lett. g – al carattere di “interesse pubblico” che devono avere tali disposizioni. Non sembra trattarsi di una differenza meramente nominalistica, né la menzione dell’interesse pubblico può essere intesa riduttivamente come un riferimento all’interesse generale al quale è per definizione improntato ogni provvedimento legislativo che riguarda la salute o l’accesso alle cure60, quanto piuttosto di una precisa scelta regolamentare da ricondurre al proposito di sottoporre a un regime ancora più restrittivo la possibilità di derogare al divieto se si tratta di decisioni relative a dati sensibili. Se si condivide questa interpretazione, sorge la questione se sia necessario introdurre una disposizione specifica che legittimi il processo decisionale automatizzato, o se sia sufficiente la legge nazionale che regola nei diversi ordinamenti i servizi sanitari (nel nostro, la l. 23 dicembre 1978, n. 833). Al riguardo, sembra da condividere l’opinione per la quale sia necessario introdurre una di- Si mostrano di questa opinione MOURBY, CATHAOIR e BJERRE COLLIN, op. cit., pp. 1 ss. V. M. FORTI, The Deployment of Artificial Intelligence Tools in the Health Sector: Privacy Concerns and Regulatory Answers within the GDPR, in European Journal of Legal Studies, 13, n. 1, giugno 2021, p. 29-44, spec. 41. 59 60 GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 207 sposizione ad hoc che legittimi il processo decisionale automatizzato, non essendo sufficiente la legge che regola in generale i servizi sanitari. Ciò sembrerebbe desumersi dall’assenza di un richiamo nell’art. 22, comma 4, all’art. 9, comma 2, lett. (h): disposizione contenente l’eccezione generale al divieto di trattare i dati personali qualora risulti necessario per finalità mediche o sanitarie sulla base del diritto dell’Unione o degli Stati membri. L’art. 22, comma 4, riferendosi alla più limitata ipotesi in cui il trattamento dei dati sanitari sia autorizzato da una legge nazionale o europea per motivi di interesse pubblico, sembra richiedere una disposizione specifica, in ragione anche delle garanzie che tale disposizione (a differenza dell’eccezione generale di cui alla lettera h) richiede: il processo decisionale automatizzato deve infatti essere effettuato con mezzi proporzionati alla finalità perseguita, nel rispetto dell’essenza del diritto alla protezione dei dati, e secondo misure adeguate a tutelare i diritti, le libertà e i legittimi interessi del soggetto. In ogni caso si tratta di un ostacolo che, per quanto concreto, non è affatto insormontabile, come dimostra l’esperienza di quegli ordinamenti che già hanno introdotto disposizioni volte a legittimare processi decisionali automatici nell’ambito dell’assistenza sanitaria61. Piuttosto, il problema risiede proprio nell’efficacia di queste garanzie che le leggi nazionali devono adottare e che potrebbero non essere effettive se applicate a sistemi di apprendimento automatico operanti nel campo della salute. Ma su questo punto torneremo più avanti, quando affronteremo la questione delle garanzie in un contesto più ampio (v. § 5). 4.2. Consenso informato (al trattamento medico), consenso al trattamento dei dati e consenso al processo decisionale automatizzato: uno, (nessuno) o tre consensi? Maggiori difficoltà si incontrano relativamente al ricorso all’eccezione dell’esplicito consenso, la quale è dubbio possa costituire la base giuridica per legittimare processi decisionali completamente automatizzati nell’ambito medico, almeno per quanto riguarda i sistemi che operano nei (e per i) contesti di emergenza e urgenza. Il problema maggiore risiede nel fatto che il consenso a essere sottoposto a una decisione basata unicamente sul trattamento automatizzato non Spiccano gli esempi del Regno Unito, che ha regolamentato l’ipotesi in modo flessibile (sezione 14 del Data Protection Act 20189, e della Danimarca, dove l’Autorità per la protezione dei dati ha lasciato intendere che il processo decisionale automatizzato (anche nel settore sanitario) possa essere consentito, a condizione che vi sia una base giuridica e che all’interessato vengano fornite garanzie adeguate, come la possibilità di appellarsi a un organismo che non assuma decisioni a sua volta basate su un processo automatizzato. Rileva anche l’esperienza tedesca, dove il legislatore, nel Federal Data Protection Act (BDSG) (sez. 37), ha espressamente escluso che il diritto di non essere sottoposto a un processo decisionale automatizzato si applichi alla fornitura di servizi assicurativi, anche quando sia coinvolti dati sanitari, riconoscendo in questo frangente particolari tutele. Per un quadro dei diversi approcci europei v. G. MALGIERI e G. COMANDÉ, op. cit., pp. 13 ss. 61 208 ALFIO GUIDO GRASSO può essere considerato come ‘liberamente prestato’ (art. 7, comma 4) se il suo rifiuto rischia di provocare un danno62. In concreto, sembra altamente improbabile che il paziente, nell’ambito di un modello automatizzato di triage, possa rifiutare di essere sottoposto a una decisione basata unicamente sul trattamento automatizzato dei propri dati senza rischiare l’esclusione (o almeno un accesso ridotto o ritardato) al reparto di terapia intensiva. In sostanza, almeno quando i suoi valori e le sue condizioni giustifichino il ricovero d’urgenza, il potenziale pregiudizio di rinunciare alle cure o ritardarle appare troppo significativo per giustificare qualsiasi pretesa che il consenso sia stato dato liberamente63. Più in generale, l’esplicito consenso dell’interessato come base giuridica che legittima l’estromissione del divieto di affidarsi esclusivamente al processo di automated decision, risente di due fattori peculiari del settore medico-sanitario. In primo luogo, le vulnerabilità intrinseche dei pazienti, non soltanto di quelli con malattie debilitanti, gravi o potenzialmente letali – la cui presenza mette in discussione la stessa natura volontaristica del consenso64 – ma dei pazienti in genere, considerati i ben noti squilibri di potere connaturati al rapporto con il medico. Si può mettere in discussione che il paziente abbia effettivamente la possibilità di rifiutare il consenso a essere sottoposto a processi decisionali automatizzati, soprattutto in assenza di alternative altrettanto efficaci e concretamente praticabili. La ricorrenza di una simile eventualità può minare l’intento protettivo della disposizione, dal momento che tali decisioni di norma hanno un impatto significativo sulla vita di una persona. In secondo luogo, si pone il problema dei soggetti che giungono al pronto soccorso in stato di incoscienza. Problema, quest’ultimo, che non può essere risolto ricorrendo alla disposizione che consente il trattamento dei dati a prescindere dal consenso dell’interessato se il trattamento è necessario per salvaguardare interessi vitali dello stesso (artt. 6, comma 1, lett. d, 9, comma 2, lett. c), in 62 Sulle inefficienze del consenso esplicito, per limitarci al contesto italiano, di recente N. IRTI, Consenso negoziato e circolazione dei dati personali, Torino, 2021, 61 ss.; I.A. CAGGIANO, Il consenso al trattamento dei dati personali nel nuovo Regolamento europeo, in Oss. dir. civ. comm., 1/2018, pp. 67 ss., spec. 78 ss.; F. CAGGIA, Il consenso al trattamento dei dati personali nel diritto europeo, in Riv. dir. comm., 2019, I, pp. 406 ss.; F. BRAVO, Il consenso e le altre condizioni di liceità del trattamento di dati personali, in AA.VV., Il nuovo Regolamento europeo sulla privacy e sulla protezione dei dati personali, diretto da G. Finocchiaro, Bologna, 2017, pp. 138 ss.; E. TOSI, Diritto privato delle nuove tecnologie digitali, Milano, 2021, 145; L. GAROFALO, Regolare l’irregolabile: il consenso al trattamento dei dati nel GDPR, Annuario OGID 2021 – Yearbook JODI, pp. 119 ss., spec. 121; L. GATT, R. MONTANARI e I.A. CAGGIANO, Consent to the Processing of Personal Data: A Legal and Behavioral Analysis Insights the Effectiveness of Data Protection Law European Journal of Privacy Law & Technologies, 2018, 1 ss. 63 Così M. MOURBY, K. O CATHAOIR, C. BJERRE COLLIN, op. cit., p. 5. 64 Cfr. PIERCE, op. cit., p. 336. GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 209 quanto i casi di liceità del trattamento dei dati sono diversi (e molto più ampi) rispetto alle ipotesi che legittimano l’adozione di decisioni automatizzate. Né tale problema può essere risolto facendo leva sulle disposizioni contenute nella legge n. 291/2017 (art. 1, comma 7), dove si prevede espressamente che non è necessario ottenere il consenso in situazioni di estrema urgenza in cui occorre un intervento medico immediato, ad esempio quando si tratta di situazioni di rischio per la vita del paziente, perché si opera nell’ambito del ‘consenso presunto’. La difficoltà a questo proposito risiede nel fatto che le linee guida del WP29 hanno chiaramente sottolineato la distinzione tra il consenso informato al trattamento sanitario (a cui si riferisce la disposizione italiana) e il consenso al trattamento dei dati ai sensi del GDPR, e hanno suggerito che l’atto con cui si autorizza quest’ultimo potrebbe non essere parimenti adeguato ad autorizzare il trattamento sanitario del paziente in un contesto clinico65. Al di là del parere del WP29 (il quale tuttavia non solo è altamente persuasivo, ma è anche vincolante per le autorità nazionali di garanzia), la Commissione Europea66 e il Garante Europeo della Protezione dei Dati67 hanno pure sottolineato la differenza tra il consenso informato e il consenso come base per il trattamento dei dati personali. Mentre il primo è sempre considerato indispensabile per rendere legittimo il trattamento medico (tranne nei casi di estrema urgenza appena citati), il secondo può mancare, se ricorre un’altra base giuridica che legittimi il trattamento, come nel caso in cui sia necessario per l’esecuzione di un contratto di cui l’interessato è parte. Tuttavia, si può dubitare che questa opzione, ovvero l’esecuzione di un contratto, sia un’alternativa davvero praticabile nel settore sanitario, poiché non è menzionata tra le condizioni che autorizzano i processi decisionali automatizzati relativi a particolari categorie di dati. Prima di passare a considerare quest’ultimo profilo, occorre sottolineare, In diversi pareri, il Gruppo di Lavoro Articolo 29 ha esaminato i limiti del consenso nelle situazioni in cui non può essere dato liberamente. Questo è stato in particolare il caso del Parere 15/2011 sulla definizione di consenso (WP 187), del Documento di Lavoro sul trattamento dei dati personali relativi alla salute nelle cartelle cliniche elettroniche (WP 131), Parere 8/2001 sul trattamento dei dati personali nel contesto lavorativo (WP48), e il Secondo parere 4/2009 sul trattamento dei dati da parte dell’Agenzia Mondiale Antidoping (WADA) (Standard internazionale per la protezione della privacy e delle informazioni personali). 66 Commissione Europea Direzione Generale per la Salute e la Sicurezza alimentare, Question and Answers on the interplay between the Clinical Trials Regulation and the General Data Protection Regulation, p. 7, in https://ec.europa.eu/health/system/files/2019-04/qa_clinicaltrials_gdpr_en_0. pdf. 67 Garante europeo della protezione dei dati, A Preliminary Opinion on data protection and scientific research, 6 gennaio 2020, in https://edps.europa.eu/sites/edp/files/publication/20-01-06_ opinion_research_en.pdf. 65 210 ALFIO GUIDO GRASSO in chiusura del paragrafo, che la possibilità di derogare al divieto ricorrendo al consenso esplicito dell’interessato rimane un’opzione valida, almeno al di fuori del contesto del trattamento d’emergenza e quando il paziente goda di alternative altrettanto efficaci e praticabili al trattamento diagnostico o clinico automatizzato, salvo quanto si esporrà in merito all’informazione sull’uso del processo decisionale automatizzato che il medico è tenuto a fornire. 4.3. Processi decisionali automatizzati e contratto: divieto di applicazione dell’eccezione contrattuale in campo medico. A questo proposito, va subito notata una differenza di disciplina – a cui non sempre si presta la dovuta attenzione68 – tra le eccezioni che consentono le decisioni automatizzate in generale (commi 2 e 3 dell’art. 22) e le eccezioni che consentono le decisioni automatizzate basate su categorie sensibili di dati (comma 4 della stessa disposizione). In particolare, delle tre eccezioni che consentono di derogare al divieto di decisioni esclusivamente automatizzate (disposizioni di legge, consenso esplicito, necessità per la conclusione o l’esecuzione di un contratto69), quest’ultima è la sola a non essere menzionata70. Questa limitazione ha V. PIERCE, op. cit., p. 337, il quale solleva dubbi sulla possibilità per un paziente di rifiutare di stipulare un contratto con un medico (o un ospedale) qualora desideri rinunciare alle procedure decisionali automatizzate. I dubbi risultano ben fondati, se non fosse che il problema non si può presentare, dal momento che un medico non potrebbe proporre la sottoposizione a un processo decisionale automatizzato come condizione necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un responsabile del trattamento dei dati, dato che la condizione di cui all’art. 22, comma 2, lett. a, non è richiamata dall’art. 22, comma 4, tra quelle che permettono di adottare decisioni automatizzate che si basano su dati sensibili come quelli relativi alla salute. Piuttosto, queste preoccupazioni – e le abbiamo infatti affrontate in quel contesto – devono essere considerate nel quadro del consenso esplicito, e cioè se il paziente – quando gli viene chiesto dall’operatore sanitario se acconsente a sottoporsi a procedure diagnostiche automatizzate – possa esercitare ‘liberamente’ il suo diritto di rifiutarle. 69 Ciò consente, ad esempio, a un’azienda di utilizzare un processo decisionale automatizzato in vista dell’assunzione di un nuovo dipendente o a una compagnia di assicurazione di valutare se risulta conveniente stipulare una polizza a copertura di una persona o un conducente, purché l’uso dell’automazione risulti ‘necessario’ per la conclusione e l’esecuzione del contratto in questione (ad esempio, a causa di un numero eccezionalmente elevato di candidature o per la difficoltà e la relativa lentezza nello stimare con precisione i rischi di lesioni personali o di incidenti stradali. Per ulteriori dettagli, v. LANDINI, Insurtech: innovazione nella produzione, distribuzione, governance e supervisione nel mercato assicurativo, in Assicurazioni, n. 3, 2021, pp. 433 ss.; G. D’IPPOLITO, Processi decisionali automatizzati nel settore assicurativo. Un’indagine preliminare, in MediaLaws (https://www.medialaws.eu/wp-content/uploads/2019/03/2-2019-dIppolito.pdf), p. 329. 70 In linea con quanto ricorre nell’art. 9, dove non è richiamata l’eccezione contrattuale come base legale per il trattamento dei dati sensibili (a differenza del consenso esplicito e della previsione di diritto europeo o nazionale sorretta da motivi di interesse pubblico). L’eccezione contrattuale, come base giuridica che rende lecito il trattamento dei dati (non sensibili), è menzionata nell’art. 68 GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 211 conseguenze rilevanti non tanto per i casi di pazienti che arrivano al pronto soccorso in stato di incoscienza (per i quali non può già operare nemmeno la condizione del consenso esplicito), ma più in generale per qualsiasi ipotesi di servizio medico, che non può avvalersi dell’eccezione contrattuale come base giuridica per legittimare l’uso di processi decisionali automatizzati. Il motivo risiede probabilmente nella circostanza che l’eccezione, a differenza del regime precedente, può essere utilizzata come base giuridica che rende lecito adottare decisioni interamente automatizzate pure quando la proposta contrattuale provenga dal responsabile del trattamento e l’interessato si limiti a aderirvi71. Se da un lato questa modifica legislativa ha reso possibile estendere le misure di protezione anche al caso in cui la proposta dell’interessato di stipulare o eseguire il contratto fosse stata accettata72, dall’altra ha comportato una maggiore esposizione dell’interessato al rischio di acconsentire a trattamenti non richiesti o a procedure decisionali potenzialmente dannose in termini di violazione della privacy o di discriminazione. Mediante l’esclusione della deroga contrattuale si è dunque inteso evitare (o meglio limitare, visto quanto si dirà) che tali insidie investissero aspetti della vita di relazione estremamente sensibili, come quelli riguardanti le condizioni psico- 6, comma 1, lett. b; peraltro, con la sostanziale differenza che in quella sede l’eccezione è limitata all’esecuzione del contratto, mentre nell’ambito dell’art. 22 sui processi decisionali automatizzati e la profilazione è estesa anche (già) alla conclusione del contratto. 71 Nel regime precedente dell’art. 15 della Direttiva del ‘95, l’eccezione si applicava solo se la conclusione del contratto fosse stata sollecitata dall’interessato. Per approfondimenti v. HILDEBRANDT, op. cit., pp. 41 ss.; L.A. BYGRAVE, Automated Profiling: Minding the Machine: Article 15 of the EC Data Protection Directive and Automated Profiling, cit., pp. 17 ss. 72 Come già menzionato, il legislatore del GDPR ha eliminato la condizione contenuta nell’art. 15 della direttiva del ’95 per cui il contratto avrebbe dovuto essere richiesto dall’interessato per consentire di adottare decisioni automatizzate. In altre parole, l’eccezione si applica ora anche se il contratto è stato proposto dal titolare del trattamento e l’interessato vi ha semplicemente aderito. Tuttavia, questo ampliamento del campo di applicazione dell’eccezione sembra essere compensato da un livello generale di protezione più elevato per la persona interessata. Infatti, nel regime precedente l’imposizione di ‘misure appropriate’ per salvaguardare i suoi interessi legittimi, come ad esempio accordi che le consentissero di esprimere le proprie opinioni, non veniva imposta se la richiesta della persona di stipulare o eseguire il contratto fosse stata soddisfatta. L’eccezione era stata debitamente criticata perché si basava sul presupposto fallace che soddisfare la richiesta di una persona di stipulare o eseguire un contratto non fosse mai svantaggioso per la persona stessa. Si v. BYGRAVE, op. loc. cit., p. 21, la quale propone come esempio una situazione in cui una decisione sulla domanda di lavoro di una persona viene presa sulla base di test psicometrici. Tuttavia, questo tipo di test può avere conseguenze dannose per la persona interessata (e per la qualità dei processi di candidatura al lavoro in generale), anche se le viene poi assegnato il lavoro. Per esempio, il soggetto può considerare tale test avvilente per la sua dignità, oppure il test può non rivelare che la persona è qualificata per una posizione più avanzata. 212 ALFIO GUIDO GRASSO fisiche di una persona. Tuttavia, a un’analisi più attenta, risulta un accorgimento nel complesso meno incisivo di quanto possa apparire, se si considera che la non inclusione dell’eccezione contrattuale è stata controbilanciata dall’introduzione (inedita rispetto alla disciplina precedente) dell’eccezione del ‘consenso esplicito’. La novella, infatti, avrebbe avuto un impatto di gran lunga maggiore se non fosse stato aggiunta tale eccezione: a quel punto, lasciando al titolare del trattamento l’onere della proposta senza l’escamotage dell’esplicito consenso, al fine di legittimare il processo decisionale automatizzato sarebbe stato indispensabile innescare un meccanismo di sollecitazione (e quindi di responsabilizzazione) in capo all’interessato, chiamato ad accettare la proposta (e quindi a rendere legittimo l’uso di mezzi automatizzati) o meno. In ogni caso, anche così, la non inclusione dell’eccezione contrattuale assolve una funzione rilevante, in quanto obbliga i responsabili del trattamento a ricercare il consenso dell’interessato se intendono adottare decisioni automatizzate basate su dati sensibili, e questo anche quando la conclusione o l’esecuzione del contratto giustificherebbero il ricorso a tali procedure (il che, in base alle norme generali, renderebbe di per sé già lecito il loro utilizzo). 4.4. La proposta di Regolamento sull’Intelligenza artificiale e il principio “human in the loop”. Altre ragioni giuridiche che impongono di garantire sempre la mediazione umana si possono rintracciare nella recente proposta di Regolamento UE sull’Intelligenza artificiale del 21 aprile 2021, per via della recezione del principio “human-in-the-loop”. Se mettiamo da canto le questioni di responsabilità civile derivanti dall’uso di dispositivi di intelligenza artificiale, qui non indagate, possiamo affermare con relativa certezza che è ampiamente accettato il principio per cui la titolarità morale delle decisioni adottate dai dispositivi di intelligenza artificiale non possa essere assegnata o trasferita agli algoritmi o alle macchine, ma rimanga in capo agli esseri umani, nonostante tali sistemi sul piano tecnico risultino capaci di fare previsioni in modo indipendente. Questo postulato viene comunemente definito ‘human in the loop’ e si riflette nella proposta di Regolamento UE sull’Intelligenza Artificiale, la quale richiede che l’uomo mantenga in ultima analisi il controllo del processo decisionale finale. In particolare, la proposta include “i sistemi di IA destinati a essere utilizzati per inviare servizi di emergenza di primo soccorso o per stabilire priorità in merito all’invio di tali servizi, compresi vigili del fuoco e assistenza medica” nel novero di quelli ad alto rischio e, come tali, li sottopone a rigorosi requisiti di trasparenza, tra i quali essere progettati per consentire sempre l’interfaccia uomo-macchina e la sorveglianza umana (art. 6, comma 2, e allegato III alla proposta). Tuttavia, si può dubitare che la disposizione – che si presenta come una norma neutra – richieda alla persona incaricata anche la capacità di interferire nei meccanismi del dispositivo o di verificare la validità del suo contenuto (content relevance), in GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 213 quanto sembra piuttosto limitarsi a stabilire una qualsiasi vigilanza, sia pure solo di carattere formale: in ciò rintracciandosi una differenza rispetto all’art. 22 che, come già indicato, richiede invece un contributo umano ‘significativo’ per sottrarre la decisione al regime delle decisioni automatizzate73. Ne consegue che un contributo non accompagnato da adeguate capacità di controllo del funzionamento del dispositivo e di revisione dei relativi risultati, potrebbe essere considerato idoneo ai fini della verifica di conformità al Regolamento IA, ma al di sotto dei requisiti richiesti al fine di escludere l’applicazione del divieto di cui all’art. 22, comma 1, GDPR. Da qui l’importanza che il contributo del professionista sanitario sia comunque adeguatamente supportato dalla capacità di conoscere e comprendere le cause che hanno portato la macchina a proporre quella particolare soluzione. Una capacità che dipende principalmente dalla qualità, quantità e pertinenza delle informazioni e delle spiegazioni che il medico può ricevere dal produttore del software74, nonché dalla capacità individuale di ciascun operatore del settore di comprenderle75. 5. Informazioni obbligatorie e intelligenza artificiale in medicina: la recente riforma della legge sulla bioetica in Francia. Il controllo e la padronanza del dispositivo di apprendimento automatico da parte dell’operatore sanitario compaiono anche tra i requisiti che la recente rifor- 73 Infatti, di per sé, la presenza di un membro del personale sanitario non esclude la qualificazione della decisione come automatica: riprendendo quanto sottolineato in precedenza, un contributo antropico nel processo decisionale non esclude ex se l’applicabilità del divieto, a meno che si tratti di un controllo significativo, effettuato da un soggetto che abbia l’autorità e la competenza per modificare la decisione, il quale riconsideri tutti i dati pertinenti nel corso della sua verifica ovvero valuti e tenga conto di altri fattori da quelli presi in esame dal dispositivo: v. WP29, Guidelines on Automated Individual Decision-Making and Profiling for the Purposes of Regulation 2016/679, cit., 20. 74 Al di là del caso (peraltro molto comune) in cui il titolare del trattamento ometta di divulgare informazioni rilevanti relative al trattamento automatizzato dei dati – per scongiurare interferenze o per proteggere la proprietà intellettuale e i segreti commerciali (omissione, quest’ultima, consentita in certa misura dal considerando 63) –, l’oscurità strutturale che caratterizza queste tecnologie comporta che gli sviluppatori, nonché gli utenti (nel nostro caso un medico), non abbiano facile accesso alle regole che il sistema di AI segue per produrre un determinato risultato. Sui tipi di opacità che caratterizzano specificamente i dispositivi medici, v. A. FERRETTI, M. SCHNEIDER e A. BLASIMME, Machine Learning in Medicine: Opening the New Data Protection Black Box, in EDPL, 2018, 3, pp. 325 ss., i quali distinguono tra oscurità procedurale e ignoranza procedurale. 75 Non si può presumere che gli operatori sanitari abbiano conoscenze sufficienti per comprendere tali informazioni, le quali, di norma, anche quando accessibili, sono codificate secondo i parametri che il sistema di machine learning ha appreso, e quindi non sono fruibili in una forma semantica facilmente leggibile. 214 ALFIO GUIDO GRASSO ma francese della legge sulla bioetica richiede a quanti impieghino sistemi medici di intelligenza artificiale. La legge n. 2021-1017 del 2 agosto 2021 – dedicata in parte anche a porre i fondamenti per la recezione del quadro legislativo europeo nascente in materia di intelligenza artificiale nel sistema transalpino –, ha inserito all’interno del Codice di sanità pubblica un nuovo articolo (art. L. 4001-3), ove è sancito l’obbligo per i professionisti se utilizzano dispositivi medici che comportano l’elaborazione algoritmica di dati allo scopo di realizzare un trattamento preventivo, diagnostico o terapeutico di informarne la persona nonché, se del caso, di avvertirla dell’interpretazione dei relativi risultati (letteralmente “avertie de l’interprétation qui en résulte”). Gli operatori sanitari devono inoltre essere istruiti sull’uso del trattamento dei dati, e i dati del paziente utilizzati nel processo di elaborazione nonché i risultati ottenuti devono essere loro accessibili. Gli sviluppatori e i progettisti del software di elaborazione algoritmica sono chiamati a garantire che il funzionamento di questi dispositivi possa essere spiegato agli operatori (cioè ai medici)76. Per quanto riguarda l’ambito di applicazione del testo, l’art. L. 4001-3 si riferisce all’uso da parte di un professionista della salute di un ‘dispositivo medico che comporta l’elaborazione algoritmica di dati il cui apprendimento è stato effettuato a partire da dati massivi’77. Inizialmente il disegno di legge, all’art. 11, si riferiva alla mera “elaborazione algoritmica dei big data”78; tuttavia, successivamente, il legislatore francese ha sentito la necessità di restringere la portata della disposizione ai dispositivi in grado di eseguire un’elaborazione algoritmica sulla base dell’apprendimento di set massicci di dati. Questa definizione è intesa dalla dottrina come riferita esclusivamente ai dispositivi di machine learning, che si basano su tecniche di apprendimento automatico in grado di far evolvere il software attraverso un addestramento ripetuto con l’aiuto di serie di dati: con la conseguenza che tutti gli altri sistemi che potrebbero essere qualificati come sistemi di intelligenza artificiale, ma che si basano, ad esempio, su regole stabilite da esperti, sono esclusi dall’ambito della disposizione79. Se riportiamo queste conclusioni alle nostre riflessioni sui sistemi di supporto alla diagnosi medica, il risultato che se ne trae è quello di considerare i Clinical decision support system 76 Un decreto ministeriale dovrà poi stabilire, previa consultazione dell’Alta Autorità della Sanità (HAS) e della Commissione Nazionale per l’Informatica e le Libertà (CNIL), la natura dei dispositivi medici interessati da questi requisiti e le loro modalità di utilizzo. 77 “…dispositif médical comportant un traitement de données algorithmique dont l’apprentissage a été réalisé à partir de données massives”. 78 AN, projet de loi n° 2187 du 24 juillet 2019. 79 V. C. CRICHTON, L’intelligence artificielle dans la révision de la loi bioéthique, in Dalloz-actualite, 16 settembre 2021 (https://www.dalloz-actualite.fr/node/l-intelligence-artificielle-dans-revision-de-loi-bioethique#.YqW3o6HP23A), ove ampi riferimenti. GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 215 basati sulla conoscenza (Knowledge-based CDSS) al di fuori dell’ambito di applicazione della disposizione, proprio perché la loro base di conoscenza è costituita dalle acquisizioni della comunità scientifica (o di un singolo esperto) in un determinato campo del sapere medico e non una serie di esempi, schemi e relazioni da cui trarre le soluzioni senza l’intervento umano. La disposizione stabilisce l’obbligo per l’operatore sanitario che utilizza il dispositivo medico sopra descritto di informare la persona interessata del suo utilizzo e, se del caso, metterla al corrente dell’interpretazione che ne deriva. Nonostante la poca chiarezza del testo, denunciata in primo luogo dai commentatori francesi80, si deduce che la persona deve essere informata sull’uso del dispositivo ed è responsabilità del professionista sanitario spiegare chiaramente il risultato della rilevazione. Tuttavia, il testo non specifica quando le informazioni devono essere fornite. Il disegno di legge originariamente affermava che l’operatore sanitario dovesse informare la persona interessata preventivamente e, se necessario, avvertirla anche dell’interpretazione che ne sarebbe derivata81. Nondimeno, il testo adottato in seconda lettura dall’Assemblea Nazionale ha eliminato la menzione dell’espressione che traduceva il concetto di ‘preliminarmente al trattamento’. Nel testo di accompagnamento all’emendamento di modifica presentato dal Governo, si legge che, a seconda degli atti eseguiti e delle disposizioni ad essi applicabili, può essere opportuno informare il paziente prima o dopo l’attuazione del trattamento, e per questo non è il caso di vincolare l’informazione a un momento determinato. In particolare si fa l’esempio, da un canto, di un caso di impianto di pancreas artificiale in cui il paziente verrà informato prima, poiché si tratta di un intervento chirurgico che richiede un consenso libero e informato, dall’altro lato di un caso di utilizzo di un dispositivo di intelligenza artificiale nel contesto di una diagnosi radiologica, ove l’informazione verrà fornita dal professionista sanitario nel momento in cui porterà il paziente a conoscenza anche dei risultati resi da questo dispositivo nonché della loro “interpretazione”. La tempistica dell’informazione dipende quindi dal contesto e deve essere pertanto flessibile e affidata in una certa misura all’autonomia del personale medico-sanitario. Obiettivo della legge, come già anticipato, è anche quello di predisporre le condizioni per l’introduzione dei principi europei sull’intelligenza artificiale, tra cui il principio “human-in-the-loop” su cui precedentemente ci siamo soffer- B. BÉVIÈRE-BOYER, Droit, intelligence artificielle et système de santé, in La personne face à l’intelligence artificielle, a cura di M. BOUTEILLE-BRIGANT, IFJD, 2021, spec. p. 152 e 153; ID., Numérique en santé : le projet de loi relatif à la bioéthique a accouché d’une souris, in Données et technologies juridiques, diretto da N. Nevejans, Éditions Mare & Martin, 2021, spec. p. 245 e 246. 81 V. AN, rapport n° 1572 du 15 janv. 2019, p. 268 à 270, proposition n° 50 e il parere dell’Autorità per la protezione dei dati francese (CNIL) dell’11 luglio 2019 (délib. n° 2019-097). 80 216 ALFIO GUIDO GRASSO mati. Sebbene la versione finale del testo si allontani dal principio della garanzia umana come originariamente previsto – quando era inteso in modo ancora più rigoroso82–, il requisito del controllo dell’uomo rimane nel testo esitato, dove si assicura che l’operatore sanitario abbia una capacità minima e realistica di padroneggiare gli strumenti di intelligenza artificiale, rafforzando così la sua autonomia e le garanzie del paziente. È in questo contesto che va inquadrata la decisione di privilegiare la spiegabilità rispetto alla mera trasparenza, secondo quanto emerge dal terzo comma della disposizione83. Già nel 2018, il Consiglio di Stato francese aveva preferito la prima alla seconda, ritenendo che la mera pubblicazione del codice sorgente non consentisse agli utenti del dispositivo di comprendere la logica generale del suo funzionamento e fosse quindi insufficiente84: evidenziandosi in ciò un’analogia con quanto sostenuto dal nostro Consiglio di Stato nel noto caso riguardante l’adozione di un piano straordinario di reclutamento scolastico demandato ad un algoritmo85. L’Assemblea Nazionale si è mossa in questa stessa direzione, ma ha introdotto un’ulteriore innovazione dalle implicazioni complesse, i cui effetti – se disincentivanti o no l’innovazione tecnologica – potranno essere valutati solo nel tempo: l’assegnazione del requisito della spiegabilità in capo ai progettisti dell’algoritmo, ai quali spetta garantire la comprensibilità del funzionamento del dispositivo agli occhi degli utenti/operatori sanitari. Al di là del profilo se l’innovazione tecnologica sia scoraggiata o meno da requisiti particolarmente onerosi per gli sviluppatori, emerge il problema della praticabilità di queste disposizioni, le quali sembrano fare eccessivo affidamento sulla possibilità di comprendere la logica e le motivazioni che governano il processo decisionale. È dubbio infatti che il sistema giuridico-tecnologico possa consentire all’operatore, e poi alla persona, di comprendere il modo in cui la macchina opera nel contesto dei processi decisionali, se non altro perché, almeno per i sistemi di apprendimento automatico, è incerto che lo sviluppatore stesso sia in possesso di questa conoscenza e possa quindi trasferirla in maniera intelligibile86. Premesso ciò, un’alternativa, sostenuta dalla dottrina del settore, Per ulteriori approfondimenti v. Crichton, op. cit., la quale ricorda come originariamente fosse prevista la tracciabilità dei trattamenti successivi, nonché l’espressa inclusione del riferimento alla ‘garanzia umana’, pur senza definirla: requisiti ulteriori poi abbandonati. 83 “Les concepteurs d’un traitement algorithmique mentionné au I s’assurent de l’explicabilité de son fonctionnement pour les utilisateurs”. 84 Conseil d’État, Révision de la loi de bioéthique: quelles options pour demain ?, 28 giugno 2018, spec. 206. 85 Cons. Stato, 13 dicembre 2019, n. 8472, in https://www.altalex.com/documents/ news/2020/01/20/algoritmi-in-ambito-amministrativo-il-consiglio-di-stato-delinea-i-limiti. 86 Diversamente D. MESSINETTI, La tutela della persona umana versus l’intelligenza artificiale. 82 GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 217 è quella dei modelli controfattuali, che si colloca tra la resa all’incomprensibilità dei sistemi di intelligenza artificiale e la ricerca della spiegabilità secondo i canoni tradizionali del trasferimento di conoscenza tra esseri umani87. 6. Comprensibilità della decisione e profili regolatori (Regolamento Dispositivi Medici UE 2017/745): tra spiegazione dell’uomo e accessibilità dell’algoritmo. Quando è lecito assumere decisioni con mezzi automatizzati, l’interessato ha diritto di ricevere “informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento” (artt. 13, comma 2, lett. f), 14, comma 2, lett. g) e 15, comma 1, lett. h). Sull’adeguatezza e l’estensione di queste ‘informazioni significative’, e se corrispondano, o meno, a una vera e propria ‘spiegazione’ dei risultati, si è dibattuto a lungo. In questa sede può dirsi che il problema sorge in quanto l’unico riferimento a tale diritto è contenuto nel considerando 71, la cui natura interpretativa88 impedisce di fondare tale diritto solo su di esso89. Un termine di riferimento normativo è stato rinvenuto negli articoli sopra citati che, garantendo all’interessato anche il diritto di ricevere informazioni “sull’importanza e le conseguenze previste di tale trattamento”, assicurerebbero implicitamente anche l’esercizio di questo diritto. Tuttavia, si Potere decisionale dell’apparato tecnologico e diritto alla spiegazione della decisione automatizzata, in Contr. impr., 2019, p. 867 (amplius v. nt. 97). 87 Sull’“equivoco” di pretendere di spiegare il sillogismo logico-funzionale con cui operano le macchine secondo i canoni del ragionamento umano v. diffusamente LIMONE, La macchina delle regole, la verità della vita. Appunti sul fondamentalismo macchinico nell’era contemporanea, Milano, 2015, 16; in chiave giuridica, v. P. PERLINGIERI, Sul trattamento algoritmico dei dati, in Tecno. e dir., 2020, 184; E. GIORGINI, Algorithms and Law, in Italian L.J., 2019, pp. 131 ss. 88 I considerando non sono giuridicamente vincolanti. Pertanto, non creano diritti o obblighi in contrasto o non impliciti già nelle previsioni precettive contenute nei singoli articoli: v., ad esempio, CGUE, Giuseppe Manfredi v. Regione Puglia, Causa C-308/97, 25 novembre 1998, paragrafi 29-30; CGUE, Procedimento penale contro Nilsson, Hagelgren & Arrborn, Causa C-162/97, 19 novembre 1998, par. 54. 89 Tuttavia, il ruolo centrale dei consideranda nell’interpretazione delle disposizioni di un atto dell’UE non può essere sottovalutato, anche in riferimento alla questione specifica che stiamo considerando (v. oltre). Sul ruolo centrale dei considerando nell’interpretazione del diritto dell’UE v. T. KLIMAS e J. VAICIUKAITE, The Law of Recitals in European Community Legislation, in Journal of International & Comparative Law, 2008, 15, p. 3; R. BARATTA, Complexity of EU law in the domestic implementing process, in 19° seminario Quality of legislation “EU legislative drafting: Punti di vista di coloro che applicano il diritto dell’UE negli Stati membri”, 2014, in https://ec.europa.eu/dgs/legal_service/seminars/20140703_baratta_speech.pdf. 218 ALFIO GUIDO GRASSO può dubitare che queste disposizioni riconoscano anche il diritto in argomento, poiché gli articoli 12-15 mirano a fornire una panoramica completa delle attività di trattamento previste, della logica che – in generale – contraddistingue questi procedimenti90, più che il diritto di ricevere una spiegazione dettagliata della logica interna seguita dal sistema nel caso specifico91: indici della natura prospettica (e non retrospettiva) di queste disposizioni si ritrovano nell’art. 12, comma 7, il quale precisa che scopo degli artt. 13-14 è quello di fornire “in modo facilmente visibile, intelligibile e chiaramente leggibile un quadro d’insieme del trattamento previsto”. In ogni caso, non occorre in questa sede prendere posizione sull’esistenza o meno di un tale diritto, dal momento che, anche ove fossero esigibili, le spiegazioni che il medico o il paziente potrebbero ricevere dal responsabile del trattamento sarebbero di scarsa utilità se di difficile comprensione da parte di soggetti privi di una formazione specifica92. Il problema dell’opacità dell’intelligenza artificiale sembra porsi in netto conflitto con il diritto dei pazienti di ricevere informazioni significative sulla logica coinvolta, nonché sul significato e sulle conseguenze previste di procedure diagnostiche o terapeutiche, o di altri interventi sulla salute93. Pertanto, la questione cruciale consiste nel determinare se sia possibile individuare un livello ottimale di spiegabilità centrata sul paziente, che allo stesso tempo non demotivi gli operatori sanitari dall’implementare tecnologie avanzate nella loro pratica quotidiana94, e che si non ponga in con- 90 In questo senso, cfr. S. SCHULZ, DS-GVO Art. 22 Automatisierte Entscheidungen im Einzelfall, in Datenschutz-Grundverordnung Vo (EU) 2016/679, a cura di P. GOLA, 1 ed., 2017, p. 410, spec. 418-419; L. FRANCK, DS-GVO Art. 12 Transparente Information, Kommunikation, ivi, p. 316, spec. 320; S. RODWAY, Just How Fair Will Processing Notices Need to Be Under the GDPR, in Priv. & Data Prot., 2016, pp. 16 ss.; C. KUNER et al., op. cit., pp. 1 ss.; R. JAY, Guide to the General Data Protection Regulation: a Companion to Data Protection Law and Practice, 2017, 4 ed. riv., p. 226; G. FINOCCHIARO, Intelligenza Artificiale e protezione dei dati personali, in Giur. it., 2019, p. 1670-1677, spec. 1674. 91 Questa parte finale della disposizione è inedita rispetto alla Direttiva sulla protezione dei dati del ‘95, ove il diritto di accesso comprendeva solo il diritto di conoscere la logica coinvolta nel processo decisionale automatizzato (art. 12, lett. a). Tale addizione è stata enfatizzata da coloro che propendono per l’esistenza di un diritto alla spiegazione: cfr. NOTO LA DIEGA, op. cit., p. 23; R. MESSINETTI, op. cit., pp. 861 ss.; contra, WACHTER et al., op. cit., p. 82. 92 Cfr. tra i tanti, J. KROLL et all., Accountable Algorithms’, Univ. OF PENN. L. REV, 2017, 1651, 17; L. EDWARDS e M. VEALE, Slave to the algorithm? Why a ‘right to an explanation’ is probably not the remedy you are looking for, in Duke Law & Technology Review, vol. 19, no. 1, pp. 19-84; G. SARTOR e F. LAGIOIA, The Impact of the General Data Protection Regulation (GDPR) on Artificial Intelligence, European Parliamentary Research Service PE 641.530, giugno 2020, p. 60. 93 V. BACHLE, On the ethical challenges of innovation in digital health, in The futures of health: social, ethical and legal challenges, a cura di Bachle e Wernick, Alexander von Humboldt Institute for Internet and Society, Berlino, 2019. 94 Così v. A. KISELEVA, Decisions made by AI versus transparency: who wins in healthcare?, in GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 219 flitto con i diritti di proprietà intellettuale o di altro tipo degli sviluppatori della tecnologia e di altre parti coinvolte. Al riguardo, è stata proposta un’interessante analogia con la comprensibilità delle decisioni dei medici, in base alla quale la spiegazione di una decisione automatizzata non richiederebbe la conoscenza del flusso di bit del sistema di intelligenza artificiale proprio come una spiegazione da parte degli esseri umani non richiede la conoscenza del flusso di segnali attraverso i neuroni del cervello umano95. Seguendo questo parallelismo, sarebbe sufficiente comprendere i fattori chiave posti alla base del processo decisorio così come gli elementi principali che ne hanno determinato il risultato; si tratterebbe in concreto di identificare gli input, gli output e le relazioni causali che li legano: tutti fattori che possono essere rivelati senza conoscere i dettagli del modo in cui il sistema è giunto alla decisione (senza quindi rivelare il codice sorgente o i contenuti interni dell’algoritmo) e che risultano semplici e comprensibili anche ai non addetti ai lavori, proprio come un paziente medio riesce a comprendere le indicazioni del proprio medico pur non essendo esperto della materia96. Anche il Gruppo di esperti nominato dalla Commissione europea per fornire consulenza sulla strategia di approccio normativo all’intelligenza artificiale, nelle linee guida sull’etica per un’Intelligenza artificiale affidabile hanno richiesto la spiegabilità dei sistemi di IA a coloro che ne sono interessati solo per quanto riguarda “a suitable explanation of the AI system’s decision-making process”97. Tradotto nel contesto delle implicazioni delle applicazioni diagnostiche, il principio della trasparenza e della comprensibilità richiede “solo” che vengano adottate misure atte a rendere intelligibili i processi decisionali basati sull’intelligenza artificiale, non anche che la funzionalità dell’applicazione stessa risulti accessibile98. Con il risultato che il problema della ‘black-box’ dei sistemi di IA, in relazione allo scopo di fornire informazioni significative volte a soddisfare il requisito dell’acquisizione di un consenso valido The futures of health: social, ethical and legal challenges, cit., pp. 93 ss. 95 K. ASTROMSKė, E. PEIčIUS e P. ASTROMSKIS, Ethical and legal challenges of informed consent applying artificial intelligence in medical diagnostic consultations, in AI & Society, 2021, 36, pp. 509520, spec. 516 96 V. DOSHI-VELEZ et al., Accountability of AI under the law: The role of explanation, Berkman Center Research Publication Forthcoming; Harvard Public Law Working Paper, 2017, n. 18-07; A. SPINA, New regulation or new medicine: the complex governance of personal data in medicine, in EDPL, 2018, vol. 4, n. 3, p. 280-283; T. HOEREN e M. NIEHOFF, Artificial intelligence in medical diagnoses and the right to explanation, in Eur Data Prot L Rev, 2018, 4, pp. 308 ss. 97 European Commission High-Level Expert Group on Artificial Intelligence (2019) Ethics guidelines for trustworthy AI, in https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai. 98 K. ASTROMSKė, E. PEIčIUS e P. ASTROMSKIS, op. loc. cit. 220 ALFIO GUIDO GRASSO o a illustrare i risultati diagnostici o clinici, può rivelarsi un problema relativo, nella misura in cui è possibile ottenere spiegazioni controfattuali senza bisogno di scoperchiare la “scatola nera”. Il GDPR stesso non sembra richiedere una comprensione della logica interna del sistema decisionale algoritmico99. Gli artt. 13-15 già menzionati si propongono di descrivere come i processi automatizzati supportino i responsabili del trattamento nel processo decisionale, rendendolo più accurato, imparziale e affidabile e, a tale scopo, illustrano come i dati, le caratteristiche e il metodo utilizzati siano adatti a raggiungere un simile obiettivo. In quest’ottica, i modelli controfattuali possono fornire informazioni in linea con i diversi requisiti informativi del GDPR, e allo stesso tempo offrire una visione dei fattori che hanno condotto a una particolare decisione. In altre parole, non è necessario divulgare completamente il processo decisionale né i meccanismi di funzionamento in sé, ma è sufficiente presentare una descrizione della logica dell’algoritmo, che può includere un elenco di fonti di dati o di variabili. I modelli controfattuali seguono ampiamente questo approccio, rivelando in particolare l’influenza di fattori e variabili esterne specifiche rispetto a una decisione particolare100. Come possibili soluzioni che esaminano gli input e gli output degli algoritmi, è stato in concreto proposto di ricorrere a meccanismi di auditing, ossia strumenti in grado di restituire spiegazioni razionali e post-hoc, capaci di evidenziare i principali fattori e gli aspetti risolutivi tenuti in considerazione nel processo Diversamente R. MESSINETTI, op. cit., 867, per la quale “le garanzie coniate dall’art. 22, par. 3, GDPR, implicano, per la persona-titolare dei dati personali, non semplicemente “informazione” ma anche “conoscenza”, in una declinazione basilare: la possibilità di comprendere la logica e le rationes che governano il processo decisionale quale processo avente ad oggetto e termine di riferimento finale la sua identità personale. Con altre parole: il sistema giuridico-tecnologico deve permettere alla persona di comprendere la comprensione che la macchina ha della persona medesima nell’ambito di processi decisionali diretti ad incidere sulla sua sfera giuridica e vitale”. Considerazioni che sembrano essere seguite dalla giurisprudenza la quale, in relazione a un caso riguardante una piattaforma volto all’elaborazione di profili reali con l’obiettivo di contrastare fenomeni di creazione di profili fittizi e di calcolare in modo imparziale il c.d. “rating reputazionale” in modo da consentire a eventuali terzi di verificarne la credibilità, ha affermato che il consenso relativo al trattamento dei dati personali dato al momento dell’iscrizione alla piattaforma non può logicamente valere anche come accettazione di “un sistema automatizzato che si avvale di un algoritmo per la valutazione oggettiva di dati personali, laddove non siano resi conoscibili lo schema esecutivo in cui si l’algoritmo esprime e gli elementi all’uopo considerati”: Cass., 24 marzo 2021, n. 14381, in Lav. giur., 2022, pp. 153 ss., con nota di LAFRATTA. 100 Così S. WACHTER, B. MITTELSTADT e C. RUSSELL, Counterfactual explanations without opening the black box: automated decisions and the GDPR, in Harvard Journal of Law & Technology, 2018, vol. 31, n. 2, pp. 842 ss., spec. 860 ss. 99 GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 221 decisionale101. Si tratta di modelli controfattuali o di deconvoluzione102, indicati come fonti adeguate perché in grado di restituire informazioni significative sulla logica di un sistema, utili non solo allo scopo di raccogliere un consenso libero e informato della persona interessata103, ma anche al fine di rendere efficaci le garanzie che l’art. 22, comma 3, riconosce al soggetto sottoposto a una decisione automatizzata104. Meccanismi che non sono affatto sconosciuti alla legislazione, in quanto altri analoghi operano già, e in relazione ai sistemi di supporto alle decisioni cliniche, all’interno delle norme che regolano i dispositivi medici nel mercato unico europeo, imposti dal Regolamento UE 2017/745105. Secondo la definizione di dispositivo medico, qualsiasi software con finalità di: 1) diagnosi, prevenzione, monitoraggio, previsione, prognosi, trattamento o attenuazione di malattie; 2) diagnosi, monitoraggio, trattamento, attenuazione o compensazione di una lesione o di una disabilità; 3) studio, sostituzione o modifica dell’anatomia oppure di un processo o stato fisiologico o patologico; 4) fornire informazioni attraverso l’esame in vitro di campioni provenienti dal corpo umano, inclusi sangue e tessuti donati, rientra nell’ambito di applicazione della nuova legislazione (art. 2). Nell’allegato VIII la Regola 11 afferma che il software destinato a fornire informazioni utilizzate per prendere decisioni a scopo diagnostico o terapeutico rientra nella classe IIa, a meno che tali decisioni possano causare 1) il decesso o un deterioramento irreversibile dello stato di salute di una persona (nel qual caso rientra nella classe III) ovvero 2) un grave deterioramento delle condizioni di salute di una persona o un intervento chirurgico (nel qual B. CASEY et al., Rethinking explainable machines: the GDPR’s ‘Right to Explanation’ debate and the rise of algorithmic audits in enterprise, in Berkeley Technol Law J., 2019, 145, pp. 188 ss. V. però le perplessità di A. MANTELERO, Artificial Intelligence, dati e diritti: spunti di riflessione per i regolatori, in Data protection tra Unione europea, Italia e Svizzera, a cura di Bertoli, sugli algoritmi in grado di supervisionare altri algoritmi. 102 La deconvoluzione si riferisce alla tecnica di elaborazione delle immagini ad alta intensità computazionale che viene sempre più utilizzata per migliorare il contrasto e la risoluzione delle immagini digitali acquisite al microscopio. L’algoritmo di deconvoluzione consente di ricostruire gli elementi mancanti su base statistica, di rimuovere i fattori di disturbo e di creare un’immagine di qualità superiore. 103 V. MOURBY, CATHAOIR e BJERRE COLLIN, op. cit., p. 6. Per approfondimenti v. C. PANIGUTTI et al., FairLens: Auditing black-box clinical decision support systems, in Information Processing and Management, 2021, p. 58. 104 Cfr. U. PAGALLO, Algo-Rhythms. The Beat of the Legal Drum, in Philosophy and Technology, 2018, 31, n. 4, pp. 507-524. 105 Il Regolamento sui dispositivi medici (MDR) avrebbe dovuto essere in vigore in tutti gli Stati membri a partire da maggio 2020, ma è stato posticipato di un anno a causa della pandemia da coronavirus. 101 222 ALFIO GUIDO GRASSO caso rientra nella classe IIb)106. Mentre il software che non conduce a decisioni sulla diagnosi o sulla terapia e che non monitora processi fisiologici può essere classificato come dispositivo di classe I107. Sulla base di queste indicazioni, sono qualificati come dispositivi medici i sistemi informativi ospedalieri che supportano il processo di gestione dei pazienti e sono destinati all’ammissione dei medesimi, purché siano in grado di combinare database e algoritmi di conoscenza medica con dati specifici del paziente e siano destinati a fornire agli operatori sanitari e/o agli utenti raccomandazioni per la diagnosi, la prognosi, il monitoraggio e il trattamento dei singoli individui. Ovvero, sono considerati come dispositivi medici quei sistemi di pianificazione del trattamento di radiazioni, il cui scopo è calcolare il dosaggio di radiazioni ionizzanti da applicare a un paziente specifico, in quanto controllano, monitorano o influenzano direttamente la fonte di radiazioni ionizzanti. Inoltre, rientrano tra i dispositivi medici anche i sistemi di pianificazione dei farmaci (ad esempio, la chemioterapia) il cui scopo è calcolare il dosaggio del farmaco da somministrare a un paziente specifico. Ed ancora, i sistemi per la gestione degli elettrocardiografi (ECG) pre-ospedalieri, ovvero sistemi basati su software destinati ai servizi di ambulanza per archiviare e trasferire le informazioni dei pazienti collegati a un monitor ECG a un medico in una posizione da remoto, rientrano in tale definizione108. Da questo articolato elenco di esempi si può evincere come i sistemi decisionali di supporto alla diagnosi (almeno quelli di cui ci siamo occupati nel corso del presente lavoro) rientrino tutti nel livello di rischio più alto e, come tali, siano sottoposti a stringenti misure di salvaguardia; tra le quali, quelle più rilevanti per la nostra riflessione, sono il monitoraggio post-certificazione, gli audit di sorveglianza annuale dei produttori da parte degli organismi notificati e le procedure di verifica della conformità del software con il sistema di gestione della qualità del produttore, con un livello di controllo crescente in base alla classificazione dei dispositivi. Lo sforzo da compiere sarebbe allora quello di trasferire la logica che sta Tra gli aggiornamenti più rilevanti ai fini della qualificazione del software CDS tra i dispositivi medici coperti dal Regolamento risulta l’inclusione delle parole ‘previsione’ e ‘prognosi’ della malattia nella definizione di dispositivo medico di cui all’art. 2, che estende la gamma di dispositivi coperti dal MDR rispetto alla precedente definizione contenuta nella direttiva 93/42/EEC (MDD), 107 Un esempio di software di classe I – per i quali è consentito il meccanismo dell’autocertificazione – è un’applicazione che calcola lo stato di fertilità dell’utente per prevedere l’ovulazione. 108 Questi e altri esempi sono contenuti nel documento del giugno 2016 della Commissione europea Guidelines on the qualification and classification of stand alone software used in healthcare within the regulatory framework of medical devices - MEDDEV 2.1/6, in https://ec.europa.eu/docsroom/documents/17921. 106 GDPR E INTELLIGENZA ARTIFICIALE: LIMITI AL PROCESSO DECISIONALE AUTOMATICO IN SANITÀ 223 alla base di questi sistemi e che rende possibili questi controlli, dal piano della sicurezza e dell’efficienza dei software come dispositivi medici a quello dei software utilizzati per “spiegare” le decisioni automatizzate ottenute in ambito sanitario. La proposta verterebbe sulla possibilità di integrare (affiancare) i sistemi di supporto decisionale clinico e/o diagnostico con un altro algoritmo, in modo da chiarire quali fattori sono stati presi in considerazione e qual è il loro peso; se non altro con l’obiettivo di evidenziare i fattori e le valutazioni che sono state prese in considerazione nel processo decisionale109. Al momento, l’art. 22 GDPR non sembra obbligare all’adozione di tali strumenti, ma non sembra nemmeno precluderlo, anzi: tali strumenti potrebbero rientrare tra le ‘misure appropriate’ che il responsabile del trattamento è tenuto a introdurre quando utilizza sistemi decisionali automatizzati (art. 22, comma 2, lett. a e c)110. In ogni caso non si può escludere che, con l’entrata in vigore della proposta di Regolamento sull’Intelligenza Artificiale, essi non vengano espressamente inclusi; fermo restando che, al di là di questa possibilità, spetta agli interpreti concentrare i loro sforzi per colmare questa lacuna di trasparenza e comprensibilità. 109 V. BRKAN, op. cit., p. 115; MOURBY, CATHAOIR e BJERRE COLLIN, op. cit., p. 6; sul piano tecnico v. A. DATTA, S. SEN e Y. ZICK, Algorithmic Transparency via Quantitative Input Influence, in https://www.andrew.cmu.edu/user/danupam/datta-sen-zick-oakland16.pdf. 110 Si mostra di quest’avviso il WP29 nelle richiamate Guidelines on automated Individual Decision-Making and Profiling for the Purposes of Regulation 2016/679, cit., 32, che include, tra gli altri, meccanismi di auditing fra le Good practice recommendations che i responsabili del trattamento possono seguire se intendono soddisfare i requisiti delle disposizioni del GDPR sulla profilazione e sul processo decisionale automatizzato.