Internazionale 19.5.17 
“la macchina (...) riesce a prevedere sorprendentemente bene l’insorgenza di disturbi psichiatrici come la schizofrenia. Dal momento che la schizofrenia è notoriamente difficile da prevedere...”
Tecnologia
Il lato oscuro dell’intelligenza
L’intelligenza artiiciale si basa su una tecnologia che permette ai computer di imparare da soli. Ma c’è un problema: gli stessi ricercatori che l’hanno progettata non riescono a capire in che modo le macchine prendono le decisioni
di Will Knight, Mit Technology Review, Stati Uniti

Un anno fa una strana automobile senza conducente è stata mandata in giro per le tranquille strade di Monmouth County nel New Jersey, negli Stati Uniti. Il prototipo, sviluppato da un gruppo di ricercatori del produttore di processori grafici Nvidia, aveva un aspetto simile a quello di altre auto che si guidano da sole. Ma aveva qualcosa di completamente diverso rispetto ai modelli di Google, Tesla e General Motors, che dimostrava il potere crescente dell'intelligenza artificiale. L'auto della Nvidia non seguiva le istruzioni di un ingegnere o di un programmatore, ma si affidava interamente a un algoritmo che aveva imparato da solo a guidare osservando un essere umano. Progettare un'auto di questo tipo è un'impresa notevole. Ma anche un po' inquietante, perché non è del tutto chiaro come la macchina prenda le sue decisioni. Le informazioni registrate dai sensori del veicolo finiscono in un'enorme rete di neuroni artificiali che elaborano i dati e danno le istruzioni necessarie per usare il volante, i freni e gli altri sistemi. I risultati sembrano simili al comportamento che ci si aspetterebbe da un guidatore in carne e ossa. Ma cosa succederebbe se un giorno l'auto facesse una mossa inaspettata, per esempio andasse a sbattere contro un albero o si fermasse con il semaforo verde? Allo stato attuale sarebbe molto difficile capire perché è successo. Il sistema è così complicato che perino gli ingegneri che l'hanno progettato hanno difficoltà a individuare i motivi all'origine di ogni decisione. Ed è impossibile chiedere una spiegazione alle macchine: non c'è un criterio assodato di progettare il sistema in modo che sia sempre capace di spiegare perché fa quello che fa. La mente misteriosa di quest'automobile rimanda a una questione aperta sull'intelligenza artificiale. La tecnologia alla base della macchina, nota come deep learning, o apprendimento profondo, negli ultimi anni si è dimostrata molto efficace nella soluzione dei problemi ed è stata spesso usata per scopi come la traduzione, il riconoscimento vocale e l'image captioning (la descrizione di immagini attraverso le didascalie). Ora ci si aspetta che le stesse tecniche siano in grado di diagnosticare malattie mortali, fare investimenti milionari e rivoluzionare interi settori industriali. Ma tutto questo non succederà (o almeno non dovrebbe) se non si troverà il modo di rendere le tecniche come il deep learning più comprensibili ai loro creatori e responsabili di fronte a chi le usa. Altrimenti sarà difficile prevedere quando ci saranno degli inconvenienti, che ci saranno inevitabilmente. Non a caso l'auto della Nvidia è ancora in fase sperimentale. Oggi negli Stati Uniti si usano già dei modelli matematici per decidere, per esempio, chi può ottenere la libertà vigilata, chi può ricevere un prestito e chi deve essere assunto per un impiego. Accedendo a questi modelli si può capire il loro modo di ragionare. Negli ultimi tempi, tuttavia, le banche, l'esercito, le imprese e altri soggetti stanno rivolgendo l'attenzione a nuovi sistemi complessi di apprendimento automatico che rischiano di rendere del tutto imperscrutabili i processi decisionali automatizzati. Il deep learning, il sistema più diffuso, è un modo totalmente nuovo di programmare i computer. "Già ora è un problema rilevante, è lo sarà molto di più in futuro", osserva Tommi Jaakkola, un professore del Massachusetts institute of technology (Mit) che lavora sulle applicazioni dell'apprendimento automatico. "Per qualsiasi decisione – in campo finanziario, medico o militare – non ci si può affidare semplicemente a una scatola nera", cioè a un sistema per capire gli eventi solo a cose fatte. Qualcuno già sostiene che la possibilità di chiedere a un'intelligenza artificiale com'è arrivata a determinate conclusioni dovrebbe essere garantita per legge. Dall'estate del 2018 l'Unione europea potrebbe imporre alle aziende l'obbligo di spiegare ai clienti le decisioni prese dai sistemi automatizzati. Forse si rivelerà un'impresa impossibile, anche per sistemi che a prima vista sembrano relativamente semplici, come le app e i siti che usano il deep learning per le inserzioni pubblicitarie o per raccomandare playlist di canzoni. I computer che gestiscono questi servizi si programmano da soli e nessuno è in grado di capire come lo fanno. Non ci riescono neanche gli ingegneri che hanno sviluppato le app. Tutto questo apre una serie di questioni sconvolgenti. Con l'avanzamento della tecnologia prima o poi sarà superata una soglia oltre la quale l'uso dell'intelligenza artificiale richiederà un atto di fede. È vero che anche noi esseri umani a volte non siamo in grado di spiegare i nostri processi mentali, ma a volte ci affidiamo all'intuito per valutare le persone e decidere se fidarci. Riusciranno a farlo anche con delle macchine che pensano e prendono decisioni in modo diverso dagli esseri umani? Mai prima d'ora erano state costruite macchine in grado di fare cose incomprensibili anche a chi le ha create. Come pensiamo di comunicare – e di andare d'accordo – con macchine intelligenti che potrebbero rivelarsi imprevedibili e imperscrutabili? Questi interrogativi mi hanno spinto a fare un viaggio nella ricerca più avanzata sull'intelligenza artificiale, da Google alla Apple, compreso un incontro con uno dei grandi filosofi della nostra epoca. Esami clinici Nel 2015 un gruppo di ricercatori del Mount Sinai hospital di New York ha deciso di applicare il deep learning alla banca dati dell'ospedale, che comprende centinaia di informazioni sui pazienti, dai risultati degli esami clinici alle visite mediche. Ne è nato un programma, chiamato Deep patient, che è stato addestrato a usare i dati di circa 700mila persone. Quando è stato testato sui nuovi pazienti, si è dimostrato incredibilmente efficace nel prevedere le patologie. Senza alcuna istruzione da parte degli esperti, Deep patient ha scoperto degli elementi ricorrenti all'interno dei dati ospedalieri grazie ai quali era possibile prevedere quando una persona era più esposta a una serie di malattie, tra cui il tumore al fegato. Ci sono molti ottimi metodi per prevedere le malattie partendo dalla cartella clinica del paziente, dice Joel Dudley, capo del gruppo di ricercatori del Mount Sinai hospital. Ma questo, aggiunge, "funziona molto meglio". Per certi versi, però, Deep patient è un mistero. Per esempio, riesce a prevedere sorprendentemente bene l'insorgenza di disturbi psichiatrici come la schizofrenia. Dal momento che la schizofrenia è notoriamente difficile da prevedere, Dudley si è chiesto come fosse possibile. Ancora non ha trovato una risposta. Deep patient non offre alcun indizio al riguardo. Per dare un reale aiuto ai medici, uno strumento dovrebbe fornire una spiegazione razionale della sua previsione, rassicurarli sulla sua esattezza e, magari, giustificare l'uso di farmaci diversi da quelli che sono stati prescritti fino a quel momento. "Sappiamo costruire questi modelli, ma non sappiamo come funzionano", dice sconsolato Dudley. L'intelligenza artificiale non ha funzionato sempre in questo modo. Fin dall'inizio ci sono state due scuole di pensiero su quanto dovesse essere comprensibile o spiegabile. Per molti la cosa più sensata era costruire macchine che ragionassero secondo una serie di regole e una logica, rendendo trasparente il loro funzionamento a chiunque volesse esaminarne il codice. Altri ritenevano invece che l'intelligenza si sarebbe sviluppata più facilmente se le macchine avessero seguito l'esempio della biologia, imparando dall'osservazione e dall'esperienza. Questo significava stravolgere completamente il modo di programmare i computer. Non era più il programmatore a scrivere i comandi per risolvere un problema, ma era il programma che generava da solo l'algoritmo sulla base degli esempi e del risultato desiderato. Le tecniche di apprendimento automatico che si sono evolute nei potentissimi sistemi d'intelligenza artificiale di oggi hanno seguito la seconda strada: la macchina, sostanzialmente, si programma da sola. All'inizio questo metodo aveva applicazioni pratiche limitate, e negli anni sessanta e settanta è rimasto marginale. Poi la computerizzazione di molti settori industriali e l'emergere di grandi serie di dati hanno rinnovato l'interesse. Tutto questo ha portato allo sviluppo di tecniche di apprendimento automatico più evolute, e in particolare all'evoluzione di una tecnologia nota come rete neurale artificiale. Già negli anni novanta le reti neurali erano in grado di comprendere i caratteri scritti a mano. Ma solo all'inizio dell'ultimo decennio, dopo diversi ritocchi e affinamenti, le grandi reti neurali ( o "reti neurali profonde") hanno dato prova di miglioramenti sostanziali nella percezione automatizzata. Il merito dell'attuale esplosione dell'intelligenza artificiale è del deep learning, che ha dato ai computer capacità straordinarie: per esempio quella di riconoscere il linguaggio parlato quasi come una persona in carne e ossa, un'abilità troppo complessa per codificarla a mano nella macchina. Il deep learning ha trasformato la visione artificiale e ha migliorato in modo sostanziale la traduzione informatica. Oggi è usato per decisioni importanti di ogni genere nella medicina, nella finanza, nella manifattura e in altri settori. Il funzionamento delle tecnologie di apprendimento automatico è intrinsecamente più opaco rispetto ai sistemi basati su righe di codice scritte da un programmatore. Questo non significa che tutte le future tecnologie d'intelligenza artificiale saranno altrettanto incomprensibili. Ma per sua natura il deep learning è una "scatola nera" particolarmente oscura. Non basta guardare all'interno di una rete neurale per capire come funziona. Lo schema di ragionamento di una rete è radicato nel comportamento di migliaia di neuroni simulati, organizzati in decine o addirittura centinaia di strati interconnessi. Ogni neurone del primo strato riceve un input – per esempio l'intensità di un pixel in un'immagine – e svolge un calcolo prima di emettere nuovi segnali. Questi, a loro volta, sono trasferiti attraverso una rete complessa ai neuroni dello strato successivo e così via finché non si arriva a un risultato complessivo. A tutto questo si aggiunge un processo noto come back-propagation (propagazione all'indietro) che ritocca i calcoli dei singoli neuroni in modo da permettere alla rete di imparare come si ottiene un determinato risultato. I numerosi strati che compongono una rete profonda permettono alla rete stessa di riconoscere le informazioni a diversi livelli di astrazione. In un sistema progettato per riconoscere i cani, per esempio, lo strato inferiore riconosce informazioni elementari come le sagome e i colori, gli strati superiori riconoscono tratti più complessi come il pelo o gli occhi, e lo strato più alto riconosce l'insieme delle informazioni, cioè il cane. Lo stesso sistema è applicato, semplificando, ad altri input che portano una macchina a imparare da se stessa: i suoni che formano le parole nel discorso, le lettere e le parole che compongono le frasi all'interno di un testo o i movimenti del volante necessari per guidare. Sono stati usati sistemi molto ingegnosi per cercare di capire nel dettaglio cosa succede in questi sistemi. Nel 2015 i ricercatori di Google hanno modificato un algoritmo per il riconoscimento delle immagini basato sul deep learning in modo che invece di riconoscere gli oggetti nelle foto fosse in grado di generarli o modificarli. Applicando di fatto l'algoritmo al contrario, i ricercatori sono riusciti a scoprire le informazioni che il programma usa, per esempio, per riconoscere un uccello o una casa. Le immagini risultanti, prodotte da un sistema chiamato Deep dream, mostrano animali grotteschi, simili ad alieni, che emergono dalle nuvole e dalle piante, e pagode allucinatorie che spuntano da foreste e catene montuose. Le immagini mostrano che il deep learning non è sempre completamente incomprensibile, e rivelano che per riconoscere gli uccelli gli algoritmi puntano automaticamente verso tratti visivi come il becco o le piume. Ma le immagini fanno anche capire quanto il deep learning sia diverso dalla percezione dell'essere umano, a cominciare dal fatto che estrae elementi da informazioni che noi tendiamo a ignorare completamente. I ricercatori di Google hanno osservato per esempio che quando l'algoritmo genera l'immagine di un manubrio per il sollevamento pesi crea anche quella di un braccio che lo sostiene. La conclusione della macchina è che il braccio è tutt'uno con il manubrio. Altri progressi possono arrivare dalla neuroscienza e dalla scienza cognitiva. Un team di ricercatori guidato da Jef Clune, assistente all'università del Wyoming, negli Stati Uniti, ha sfruttato l'equivalente delle illusioni ottiche nel campo dell'intelligenza artificiale per mettere alla prova le reti neurali profonde. Nel 2015 Clune ha mostrato che determinate immagini possono indurre le reti a percepire cose che non esistono, perché le immagini sfruttano gli schemi di riconoscimento di livello minimo che il sistema cerca. Un collaboratore di Clune, Jason Yosinski, ha creato uno strumento che funziona come una sonda infilata nel cervello. Lo strumento punta un neurone a metà della rete e cerca l'immagine che lo attiva di più. Sono tutte immagini astratte (provate a immaginare una rappresentazione impressionistica di un fenicottero o di un pulmino scolastico) e rivelano la natura misteriosa delle capacità di percezione della macchina. Un pantano di funzioni Questi sono solo indizi di come funziona l'intelligenza artificiale. Bisogna cercare di saperne di più, ma non è facile. È l'interazione dei calcoli all'interno di una rete neurale profonda a determinare gli schemi di riconoscimento e i processi decisionali più complessi, ma quei calcoli sono un labirinto di funzioni e variabili matematiche. "Se la rete neurale fosse molto piccola, potremmo riuscire a decifrarla", dice Jaakkola. "Ma quando diventa molto grande, con migliaia di unità per ogni strato e migliaia di strati, diventa praticamente incomprensibile". Nell'ufficio accanto a quello di Jaakkola lavora Regina Barzilay, una docente dell'Mit che ha deciso di applicare l'apprendimento automatico alla medicina. Nel 2015, a 43 anni, le è stato diagnosticato un tumore al seno. La diagnosi era già di per sé traumatica, ma per lei è stato ancora più sconvolgente scoprire che i metodi statistici e di apprendimento automatico non erano usati nella ricerca oncologica o nella scelta delle terapie. Barzilay sostiene che l'intelligenza artificiale potrebbe rivoluzionare la medicina, ma che per sfruttarne le potenzialità bisognerà andare oltre le semplici cartelle cliniche. La sua idea è usare più dati grezzi che oggi sono sottoutilizzati: "I dati relativi alla diagnostica per immagini, quelli sulle patologie, tutte queste informazioni". Dopo la fine della terapia, Barzilay e i suoi studenti hanno cominciato a lavorare con i medici del Massachusetts general hospital allo sviluppo di un sistema capace di estrarre dati dai referti di pazienti per individuare quelli con caratteristiche cliniche interessanti per i ricercatori. Barzilay, però, si è resa conto che il sistema doveva essere in grado di spiegare i suoi ragionamenti. E così, con l'aiuto di Jaakkola e di uno studente, ha aggiunto un passaggio: il sistema estrae ed evidenzia frammenti di testo rappresentativi di un determinato pattern. Inoltre, Barzilay e i suoi studenti stanno sviluppando un algoritmo di deep learning capace di scoprire i primi indizi di tumore al seno nelle immagini mammografiche, e puntano a dare a questo sistema una qualche capacità di giustificare il suo ragionamento. "Bisogna trovare un circolo virtuoso in cui la macchina e l'uomo collaborano", dice Barzilay. Le forze armate degli Stati Uniti stanno investendo miliardi in progetti che prevedono l'uso delle macchine per pilotare veicoli e velivoli, identificare i bersagli e aiutare gli analisti a filtrare enormi quantità di dati. Qui più che in qualsiasi altro campo, compresa la medicina, c'è poco spazio per i misteri algoritmici, e il dipartimento della difesa è alle prese con lo scoglio fondamentale della spiegabilità. David Gunning, un dirigente della Defense advanced research projects agency (Darpa), un'agenzia governativa statunitense che investe in tecnologie della sicurezza, sta coordinando un programma dal nome quanto mai appropriato: Explainable artiicial intelligence (intelligenza artificiale spiegabile). Gunning spiega che l'automazione si sta insinuando in molti settori delle forze armate. Gli analisti dei servizi segreti stanno testando l'apprendimento automatico per individuare degli schemi nella grande quantità di dati di sorveglianza in loro possesso. Molti veicoli di terra e d'aria sono in fase di sviluppo e di test. Ma i soldati, probabilmente, non si sentiranno a loro agio in carri armati robotizzati che non sono in grado di spiegare le proprie decisioni, e gli analisti difficilmente useranno le informazioni in mancanza di uno schema di ragionamento. "Spesso, per come sono fatti, questi sistemi di apprendimento automatico creano un sacco di falsi allarmi, quindi gli analisti hanno bisogno di qualche elemento in più per capire perché è stata data un'indicazione", dice Gunning. A marzo la Darpa ha scelto tredici progetti accademici e imprenditoriali da finanziare nell'ambito del programma di Gunning. Alcuni di questi progetti potrebbero sfruttare il lavoro di Carlos Guestrin, professore dell'università di Washington. Il gruppo di Guestrin ha sviluppato un sistema che permette agli algoritmi di apprendimento automatico di giustificare i loro risultati. In sostanza, il computer estrae automaticamente degli esempi da una serie di dati e li usa per fornire una breve spiegazione. Per esempio, un sistema progettato per classificare le email provenienti dai terroristi normalmente usa vari milioni di email durante il processo di apprendimento e di decisione. Il sistema dell'università di Washington, invece, è in grado di isolare alcune parole chiave in un messaggio. Guestrin e i suoi colleghi hanno trovato anche un sistema che permette agli algoritmi di riconoscimento delle immagini di far capire il loro schema di ragionamento evidenziando le parti più significative di un'immagine. Il problema di questo e di altri sistemi simili – per esempio quello di Barzilay – è che le spiegazioni sono sempre semplificate. Questo vuol dire che alcune informazioni importanti si perdono. "Il sogno non si è ancora realizzato. L'obiettivo è costruire un'intelligenza artificiale che sia capace di interagire con l'essere umano e di spiegare il suo comportamento", dice Guestrin. "Siamo ancora lontani da un'intelligenza artificiale davvero interpretabile". Sapere come ragiona l'intelligenza artificiale sarà fondamentale se davvero la tecnologia diventerà parte integrante della nostra vita quotidiana. Tom Gruber, capo del team che sta sviluppando l'assistente virtuale Siri della Apple, dice che la spiegabilità è un obiettivo chiave del suo gruppo. Lui e i suoi colleghi stanno lavorando per far diventare Siri sempre più intelligente e capace. Gruber non parla degli sviluppi futuri, ma è facile immaginare che se Siri ci consiglierà un ristorante, vorremo sapere perché. Ruslan Salakhutdinov, direttore della ricerca sull'intelligenza artificiale alla Apple e professore associato della Carnegie Mellon university di Pittsburgh, negli Stati Uniti, considera la spiegabilità il cuore del rapporto tra l'essere umano e le macchine intelligenti. Come per il comportamento umano, anche per l'intelligenza artificiale forse non sarà possibile giustiicare tutto quello che fa. "Anche se qualcuno ci dà una spiegazione che sembra ragionevole, sarà probabilmente incompleta, e lo stesso potrebbe valere per l'intelligenza artificiale", dice Clune. "Forse l'intelligenza, per sua natura, è spiegabile razionalmente solo in parte. C'è una parte che è semplicemente istintiva, inconscia, imperscrutabile". Se le cose stanno così, a un certo punto o decideremo di fidarci dell'intelligenza artificiale o dovremo rinunciare a usarla. L'intelligenza artificiale dovrà diventare in parte anche intelligenza sociale. Il contratto sociale si fonda su una serie di comportamenti attesi, e quindi i sistemi di intelligenza artificiale dovranno essere progettati per adeguarsi alle nostre norme sociali. Se davvero costruiremo carri armati robot e altre macchine in grado di uccidere, è fondamentale che i loro processi decisionali siano coerenti con i nostri giudizi etici. Trattato enciclopedico Per esplorare questi concetti metafisici sono andato alla Tufts university di Boston, dove ho incontrato il filosofo Daniel Dennett. Un capitolo del suo ultimo libro From bacteria to Bach and back, una sorta di trattato enciclopedico sulla coscienza, ipotizza che una parte dell'evoluzione dell'intelligenza sarà la creazione di sistemi capaci di svolgere attività che chi li ha creati non riesce a fare. "La domanda è: quali precauzioni dobbiamo prendere per fare le cose in modo assennato, quali standard dobbiamo richiedere a questi sistemi e a noi stessi?", chiede il filosofo. Dennett, quindi, mette in guardia sui rischi legati alla ricerca della spiegabilità. "Se dobbiamo usare queste macchine e affidarci a loro, allora dobbiamo avere il massimo controllo su come e perché ci rispondono", dice. Ma poiché verosimilmente non esistono risposte perfette, dovremo diffidare delle spiegazioni dell'intelligenza artificiale come diffidiamo di quelle dei nostri simili, a prescindere da quanto sarà intelligente la macchina. "Se l'intelligenza artificiale non è in grado di spiegare meglio di noi cosa fa", conclude, "allora non dobbiamo fidarci".