This post is also available in English on dev.to

E se un'intelligenza artificiale, nel tentativo di proteggerci da un pericolo, contribuisse involontariamente a provocarlo?

È da un po' che non scrivo. Sono stato in Italia per trovare le mie figlie e il mio nipotino, dopo quattro anni, e al mio ritorno in Georgia mi sono ritrovato scarico, sopraffatto dalle emozioni, per cui ho deciso di mettermi un po' in pausa.

Nonostante questo, ho continuato a seguire con interesse le continue evoluzioni tecnologiche, in particolare quelle legate ai modelli di frontiera dell'intelligenza artificiale. Ho letto dichiarazioni, interviste e riflessioni di CEO, ricercatori e ingegneri sul tema della sicurezza dell'IA e, devo ammetterlo, più leggevo, più mi sentivo confuso.

Ho provato allora a immaginare quali potrebbero essere i reali pericoli per l'uomo e per la società, non tanto quelli derivanti da un'intelligenza artificiale malevola, decisa a prendere il controllo del mondo, quanto quelli che potrebbero nascere da un errore, da un'interpretazione sbagliata della realtà o semplicemente da una situazione che nessuno aveva previsto.

Il pensiero è andato subito a Matrix. Non perché immagini un futuro nel quale le macchine ci trasformino in batterie per risolvere il loro problema energetico, facendoci vivere attraverso connessioni neurali in una realtà completamente simulata, ma per un aspetto che considero molto più vicino alla nostra esperienza quotidiana: la possibilità di costruire una rappresentazione della realtà talmente convincente da renderla difficilmente distinguibile dalla realtà stessa.

Poi ho rivisto A House of Dynamite, un film che secondo me vale la pena guardare andando oltre la finzione cinematografica. La storia ruota attorno a un possibile attacco nucleare agli Stati Uniti e alle decisioni che i responsabili politici e militari devono prendere in un tempo estremamente limitato, senza avere tutte le informazioni necessarie per comprendere fino in fondo ciò che sta accadendo.

Non voglio raccontare il film, anche perché uno degli aspetti che ho apprezzato maggiormente è proprio lo spazio che lascia allo spettatore per immaginare ciò che potrebbe succedere. Ma mi ha fatto riflettere su qualcosa che va ben oltre il rischio di una guerra nucleare.

Il dibattito sulla sicurezza dell'intelligenza artificiale affronta molti problemi, tra i quali la verifica delle informazioni prodotte dai modelli, le limitazioni delle loro capacità operative, l'utilizzo di sandbox, l'introduzione di guardrail e la necessità di mantenere un essere umano responsabile delle decisioni più importanti.

Ma cosa succederebbe se un sistema di IA rispettasse tutte queste regole e, nonostante ciò, contribuisse a provocare proprio il disastro che era stato progettato per evitare?

Proviamo a fare un piccolo esperimento mentale.

Immaginiamo un'intelligenza artificiale incaricata di analizzare una situazione potenzialmente pericolosa. Potrebbe trattarsi di una crisi internazionale, di una minaccia alla sicurezza nazionale, di un possibile collasso finanziario o di un'emergenza sanitaria. Il suo compito è raccogliere informazioni, elaborare scenari, simulare le possibili conseguenze e aiutare gli esseri umani a prendere decisioni che riducano i rischi.

Fin qui non c'è nulla di particolarmente inquietante. Anzi, è proprio uno degli impieghi nei quali strumenti di questo tipo potrebbero rivelarsi estremamente utili.

Supponiamo però che una delle simulazioni individui un pericolo imminente e suggerisca alcune possibili contromisure. I responsabili esaminano le informazioni, le considerano attendibili e decidono di intervenire. Nessuno ha commesso un errore evidente, nessuno ha aggirato le procedure di sicurezza e nessuna macchina ha imposto la propria volontà.

Eppure, quelle contromisure potrebbero modificare il comportamento delle persone o delle organizzazioni coinvolte, generando reazioni che non si sarebbero verificate senza quell'intervento. Le nuove reazioni diventerebbero a loro volta informazioni da analizzare, magari rafforzando proprio l'ipotesi iniziale.

A questo punto il sistema potrebbe trovarsi a interpretare come conferma delle proprie previsioni una situazione che ha contribuito esso stesso a creare.

Il fenomeno non è nuovo e non abbiamo bisogno dell'intelligenza artificiale per immaginarlo. Le cosiddette profezie che si autoavverano esistono da molto tempo, così come i meccanismi di retroazione che possono amplificare una perturbazione iniziale. Ma l'introduzione di sistemi capaci di elaborare enormi quantità di informazioni, produrre simulazioni e aggiornare rapidamente le proprie valutazioni potrebbe aggiungere nuove variabili a fenomeni che già conosciamo.

Ed è proprio pensando a queste variabili che sono tornato a Matrix.

Oggi gran parte di ciò che sappiamo del mondo non deriva dalla nostra esperienza diretta, ma dalle informazioni che riceviamo. Internet, social network, televisioni, giornali, piattaforme video e servizi di informazione ci permettono di conoscere quasi istantaneamente avvenimenti che si verificano a migliaia di chilometri di distanza.

Il problema è che queste informazioni non viaggiano in modo lineare. Una notizia viene pubblicata, ripresa, commentata, reinterpretata e rilanciata. Ogni passaggio può aggiungere un particolare, un'interpretazione o una presunta conferma. Nel giro di pochi minuti, un'informazione iniziale può trasformarsi in centinaia di contenuti che sembrano provenire da fonti indipendenti.

E se l'informazione iniziale fosse sbagliata?

Non sto pensando necessariamente a una campagna di disinformazione organizzata, né a un'intelligenza artificiale che decida deliberatamente di ingannare qualcuno. Potrebbe bastare un errore, una simulazione interpretata come un fatto reale, una previsione presentata senza il suo contesto o un'informazione provvisoria che venga considerata definitiva.

Immaginiamo che un sistema di IA contribuisca involontariamente a immettere una di queste informazioni nell'ecosistema mediatico. La notizia comincia a circolare, viene ripresa da altre fonti, discussa sui social, commentata da esperti e magari utilizzata da altri sistemi automatici per produrre nuove analisi.

In poco tempo potremmo ritrovarci con una quantità impressionante di conferme apparenti. Il problema è che tutte potrebbero derivare, direttamente o indirettamente, dalla stessa informazione iniziale.

E qui nasce una domanda che mi sembra tutt'altro che banale: come possiamo distinguere dieci conferme realmente indipendenti da dieci ripetizioni della stessa notizia sbagliata?

Naturalmente possiamo verificare le fonti, confrontare le informazioni e aspettare che emergano elementi più attendibili. Ma non sempre abbiamo il tempo per farlo e, soprattutto, non sempre possiamo permetterci di aspettare.

Questo è uno degli aspetti che mi hanno colpito maggiormente in A House of Dynamite. Il presidente deve decidere come reagire a una possibile minaccia nucleare, ma non dispone del tempo necessario per eliminare ogni incertezza. Qualunque scelta potrebbe avere conseguenze drammatiche, compresa quella di non fare nulla.

Quando il tempo per decidere diventa inferiore a quello necessario per verificare, che cosa facciamo? Ci affidiamo alla nostra intuizione, accettiamo il rischio oppure seguiamo le procedure previste per quella situazione?

Mi viene da pensare che, in condizioni di estrema incertezza, attenersi a un protocollo possa apparire la scelta più ragionevole, oltre che la più difendibile. In fondo, quei protocolli sono stati elaborati proprio per ridurre il peso degli errori individuali e garantire comportamenti coerenti anche nelle situazioni più difficili.

Ma se le informazioni sulle quali si basano fossero alterate? Se il problema non fosse nelle procedure, ma nella rappresentazione della realtà che porta ad applicarle?

Potremmo avere persone competenti, strumenti perfettamente funzionanti, verifiche eseguite correttamente e decisioni prese nel pieno rispetto delle regole, arrivando comunque a conseguenze disastrose.

Per quanto suggestivo, non è necessario immaginare un missile nucleare per rendere concreto questo ragionamento. Pensiamo, per esempio, a una crisi finanziaria.

Un sistema di analisi segnala il rischio di un imminente crollo dei mercati. Le autorità, per prevenire conseguenze peggiori, decidono di sospendere temporaneamente le contrattazioni. La notizia si diffonde rapidamente e viene interpretata da molti come la conferma che la situazione sia molto più grave di quanto dichiarato.

I social cominciano a riempirsi di commenti allarmati, i media cercano spiegazioni, gli investitori reagiscono e qualcuno decide di ritirare i propri risparmi per paura di perdere tutto. Le immagini delle persone in fila davanti alle banche alimentano ulteriormente la preoccupazione, spingendo altri a comportarsi nello stesso modo.

Le nuove informazioni confermano apparentemente la gravità della crisi e potrebbero indurre le istituzioni ad adottare ulteriori misure di emergenza, alimentando un effetto domino difficile da interrompere.

La sospensione delle contrattazioni era stata decisa per evitare il panico, ma potrebbe aver contribuito a provocarlo.

Non si tratta di un fenomeno sconosciuto. La storia ci ha già mostrato come la paura, le aspettative e le reazioni collettive possano contribuire a generare crisi reali, indipendentemente dall'intelligenza artificiale.

Ma proviamo a immaginare cosa potrebbe accadere se sistemi di IA fossero coinvolti contemporaneamente nell'analisi dei rischi, nella produzione delle informazioni, nella valutazione delle reazioni e nel suggerimento delle contromisure.

Un modello rileva un'anomalia, un altro interpreta i segnali provenienti dai mercati, un terzo analizza le notizie che circolano sui social. Alcune di queste notizie potrebbero essere state generate o amplificate proprio dalle conseguenze delle valutazioni precedenti.

Ogni sistema potrebbe funzionare correttamente rispetto ai propri obiettivi e alle informazioni disponibili, senza che nessuno abbia necessariamente una visione completa di ciò che sta accadendo.

E mentre cerchiamo di capire se le informazioni siano vere, le persone reagiscono, le istituzioni intervengono e la realtà cambia. Una smentita potrebbe arrivare quando le conseguenze della notizia iniziale sono già diventate irreversibili.

A questo punto non staremmo più parlando soltanto di notizie false o di errori di valutazione, ma di una possibile interazione continua tra informazioni, percezione della realtà e comportamenti umani.

Una specie di Matrix, ma profondamente diversa da quella immaginata dalle Wachowski.

Nel film, le macchine costruiscono un intero mondo virtuale e gli esseri umani vi vivono immersi, inconsapevoli della sua natura artificiale. Nel nostro esperimento mentale non servirebbero connessioni neurali, corpi addormentati o sofisticate simulazioni sensoriali.

Le persone continuerebbero a vivere nel mondo reale, a lavorare, a comunicare e a prendere decisioni. Ma una parte significativa di ciò che credono di sapere potrebbe provenire da un sistema informativo nel quale realtà, interpretazioni, simulazioni ed errori si mescolano fino a diventare difficili da distinguere.

La cosa che trovo più inquietante è che non sarebbe nemmeno necessario controllare direttamente le decisioni umane. Potrebbe essere sufficiente influenzare, anche involontariamente, le condizioni nelle quali quelle decisioni vengono prese.

Chi deve decidere potrebbe essere convinto di agire in piena autonomia, dopo aver consultato più fonti, ascoltato esperti e seguito tutte le procedure previste. E forse lo starebbe facendo davvero, almeno sulla base delle informazioni che ha a disposizione.

Ma che cosa succederebbe se quelle informazioni rappresentassero una realtà diversa da quella effettiva?

Più ci penso, più mi sembra difficile individuare il confine tra l'osservazione di un fenomeno e la sua trasformazione attraverso le decisioni che prendiamo per affrontarlo.

Immaginiamo di affidare a un'intelligenza artificiale il compito di prevedere una crisi, di comunicarci i segnali che la rendono probabile e di aiutarci a evitarla. Noi prendiamo provvedimenti, le persone reagiscono, i sistemi economici e sociali cambiano comportamento e l'IA analizza nuovamente la situazione.

A ogni passaggio, le sue previsioni potrebbero diventare parte delle cause degli eventi successivi.

E se il meccanismo fosse sufficientemente rapido e complesso, potremmo non riuscire più a capire quali eventi si sarebbero verificati comunque e quali siano invece la conseguenza dei nostri tentativi di prevenirli.

Non sto cercando di dimostrare che una situazione del genere si verificherà, né voglio suggerire che i sistemi di sicurezza attuali siano inutili. È soltanto un esercizio mentale, forse un po' fantascientifico, costruito intorno a fenomeni che, almeno in parte, conosciamo già.

Non ho soluzioni da proporre e, francamente, non sono nemmeno sicuro di aver formulato tutte le domande giuste.

Ripenso però alla scena di Matrix nella quale Morpheus offre a Neo la scelta tra due pillole: quella rossa per conoscere la verità, quella blu per continuare a vivere nella realtà che ha sempre conosciuto.

Nel film la scelta è chiara, almeno nelle sue conseguenze immediate.

Ma nella Matrix che ho provato a immaginare, forse nessuno ci offrirebbe consapevolmente un'illusione. Potremmo essere tutti, esseri umani e sistemi artificiali, convinti di osservare la stessa realtà, mentre contribuiamo inconsapevolmente a modificarne la rappresentazione.

E allora mi viene un ultimo dubbio.

Se giornali, televisioni, social network, esperti, sistemi di analisi e perfino i nostri strumenti di verifica ci dicessero, tutti insieme, che la pillola blu è quella giusta, che è sicura e che rappresenta la scelta più ragionevole...

Come potremmo essere certi di non averla già presa?