La paura del rifiuto
9 Novembre 2023
Lo scorso aprile, la commissione europea ha ufficialmente proposto un quadro giuridico, primo nel suo genere, con l’obiettivo di regolare (l’utilizzo di) sistemi di intelligenza artificiale (IA) — da intendere qui non come macchine intelligenti in grado di operare in modo autonomo (alla Turing), ma come modelli di machine learning, ovvero «sistemi in grado di imparare e adattarsi senza seguire istruzioni esplicite, usando algoritmi e modelli statistici per analizzare e fare inferenze da comportamenti trovati nei dati» (Oxford Dictionary).
Lo scopo dichiarato di tale quadro sarebbe principalmente quello di classificare suddetti sistemi in base al grado di rischio che essi pongono nei confronti dei cittadini europei e di permettere il solo utilizzo di quelli ritenuti sufficientemente sicuri e «degni di fiducia». Il sentimento che anima tale proposta trova riscontro non solo nelle richieste di molte organizzazioni e attivisti, ma anche nella letteratura relativa al tema, soprattutto quella risalente all’ultimo decennio: «Lo sviluppo di IA giusta ed etica è diventato uno dei temi più contesi [e più trattati] nella Silicon Valley [e nel campo in generale]» (A. Satariano, New York Times).
Ma se con IA non si intendono macchine senzienti e in procinto di ribellarsi alla Ultron in Avengers o A.L.I.E. di The 100, da dove proviene esattamente il pericolo e cosa provoca questo sentimento comune di inquietudine nei loro confronti? «Il pericolo dell’IA non è che essa si ribelli contro di noi, ma che faccia esattamente quello che le abbiamo chiesto di fare» (Janelle Shane, 2019).
Credits: everyeye.it
Facciamo un passo indietro e analizziamo brevemente quali sono i componenti di un modello di machine learning. Seguendo l’analogia proposta da Jason Pan su Towards Data Science — comprensibile anche al più sfaticato degli studenti universitari che si cibi solo di cup noodles — possiamo paragonare la creazione e applicazione di un modello di machine learning al cucinare. Per preparare infatti una qualsiasi pietanza sono necessari degli ingredienti (i dati), che devono essere innanzitutto raccolti e processati (pulizia e organizzazione dei dati) prima di essere bolliti, fritti o saltati (elaborazione ed applicazione di un algoritmo sui dati) per mezzo di varie pentole e utensili (i software), da qualcuno che idealmente abbia le conoscenze per farlo, sia esso un mastro pasticciere o uno chef stellato (il data scientist).
Ci sono però due sostanziali differenze. Come abbiamo detto prima, il compito di un modello di machine learning è quello di trovare dei comportamenti ricorrenti nei dati e di fare inferenze sugli stessi, o, meglio ancora, quello di individuare, forniti gli input e i corrispettivi output, l’algoritmo il più efficiente e meno fallibile possibile che non solo sia in grado di trasformare i dati in ingresso nelle informazioni in uscita, ma che possa poi essere applicato anche a input nuovi, non utilizzati nel suo “allenamento”. Proseguendo con l’analogia, è come se mostrassimo a una dozzina di uova la foto di un’omelette, chiedessimo alle pentole di trovare il modo migliore per cucinarle in quel modo, e poi dicessimo loro di usare quello stesso metodo per preparare un’altra dozzina di uova nella speranza che il risultato sia effettivamente un’omelette. In cucina ovviamente questo non accade — a meno di trovarci in un cartone della Disney.
La seconda differenza è che mentre in cucina le dinamiche sottostanti i vari metodi di cottura sono ben chiare, nel campo dell’IA questo non è sempre il caso. Sia ciò dovuto alla complessità dell’algoritmo trovato (come nel caso di network neurali con migliaia di neuroni al loro interno), sia dovuto al fatto che molti sistemi sono brevettati e quindi segreti, spesso i modelli di machine learning risultano opachi ai più o in generale, ovvero non è possibile discernere perché un certo modello restituisca un certo risultato. Supponiamo che in Italia tutti i ristoranti che servono omelette possano prepararle solamente tramite l’utilizzo di un nuovo macchinario, ideato da un team di chef esperti: si inseriscono le uova in un’apposita imboccatura, e su un nastro a scorrimento ecco uscire misteriosamente la nostra omelette. Ora, mettiamo il caso che la maggior parte delle persone preferisca uova di gallina, anatra o quaglia, ma che ci sia anche qualche appassionato di uova di struzzo. Cosa accadrebbe se, per un qualche motivo, tale estimatore si vedesse regolarmente arrivare in tavola la sua omelette preferita bruciata? I vari ristoranti, osservando l’accaduto, concluderebbero ovviamente che le uova di struzzo non sono adatte a diventare omelette e le toglierebbero dal menù. Ma quanto è effettivamente ovvia questa dinamica? E se fosse che il macchinario brucia tutte le omelette di uova di struzzo perché gli chef non l’hanno addestrato a prepararle?«Gli algoritmi di machine learning sono creati da persone, e le persone hanno pregiudizi. Tali algoritmi non sono mai interamente oggettivi ma riflettono la visione di coloro che li hanno programmati» (G. Satell and Y. Abdel-Magied, 2020).
Credits: The Telegraph
Ora, finché un sistema sbaglia a cucinare una pietanza o consiglia un film horror invece di una commedia romantica, l’impatto sulla società in generale è minimo.
Ma se un sistema penalizza i CV di donne solo perché contenenti parole riferite al sesso femminile, o se, nel calcolare il rischio di recidività, non riesce a distingue tra un detenuto e una persona pescata a caso dal web, o se mostra pubblicità di college for-profit solo a coloro che sa essere in una disperata ricerca di istruzione abbordabile per uscire da una situazione svantaggiosa, approfittandosene, allora l’impatto sulla società sarà più severo, e serio.
Il vero pericolo dell’IA sta dunque in quei modelli di machine learning che perpetuano i pregiudizi più dannosi e le ideologie di coloro che li hanno creati; trovano erroneamente rapporti di causalità quando in realtà si tratta di mera correlazione; e sono così complessi o segreti che non è possibile accorgersi del loro malfunzionamento se non a fatto compiuto (ovvero a modello applicato sulla popolazione in grande scala). Questi modelli hanno la potenzialità di trasformarsi in vere e proprie Armi di Distruzione Matematica (ADM) — come le chiama Cathy O’Neil nel suo libro omonimo — armi che hanno la «tendenza a punire i poveri e gli oppressi nella nostra società, mentre rendono i ricchi sempre più ricchi».
Per difenderci da queste ADM, Cathy O’Neil ha sollecitato, tra le altre cose, un maggiore impegno da parte delle autorità nel richiedere IA trasparenti, spiegabili e interpretabili, e la stesura di una sorta di Giuramento ippocratico del data scientist.
Per quanto riguarda la prima, la Commissione Europea sembra aver accolto l’appello. Secondo il quadro giuridico proposto, alcuni sistemi saranno totalmente banditi — tutti quelli che rappresentano una chiara minaccia nei confronti della sicurezza e dei diritti dei cittadini —, mentre la maggior parte dei modelli utilizzati nei campi quali l’educazione, le infrastrutture critiche, le aule di tribunale e la polizia, denominati “ad alto rischio” — potenziali ADM —, saranno sottoposti a un severo scrutinio sotto più punti di vista, tra cui la qualità dei dati forniti nel loro allenamento, il tracciamento dei risultati, e la documentazione dettagliata sul loro funzionamento.
Per quanto riguarda la seconda, nessun giuramento formale è stato ancora stilato. Non ci resta dunque che avere fiducia che data scientists, programmatori, matematici e statistici, si assumano le proprie responsabilità e trattino i modelli creati non alla stregua di “forze neutre e inspiegabili”, ma come il prodotto riflesso di sé stessi.
