Quando si
parla dei pericoli dell'intelligenza artificiale, il dibattito tende a
mescolare piani molto diversi: scenari fantascientifici, timori occupazionali,
questioni etiche, paure quasi metafisiche. Per ragionare con più chiarezza è
utile distinguere due famiglie di preoccupazioni, che hanno origini, logiche e
gradi di probabilità profondamente differenti. La prima è di natura matematica
e riguarda i limiti intrinseci dei sistemi formali. La seconda è di natura informatica
e sistemica e riguarda l'accesso dell'IA alle infrastrutture che reggono la
vita collettiva. La tesi di queste pagine è semplice: la prima preoccupazione,
pur affascinante sul piano teorico, è oggi sostanzialmente inapplicabile; la
seconda è invece concreta, sottovalutata e, con ogni probabilità, destinata a
manifestarsi in tempi medio-brevi.
La
preoccupazione matematica: l'ombra dell'assiomatica
Per
comprendere il primo tipo di timore occorre tornare all'inizio del Novecento.
In quegli anni la matematica visse una stagione di grande ambizione: il
progetto, associato soprattutto a David Hilbert, di fondare l'intero edificio
matematico su un sistema di assiomi completo e coerente, capace di dimostrare
ogni verità al proprio interno senza bisogno di appoggi esterni. Era il sogno
di un sistema autosufficiente, chiuso, che si giustificasse da sé.
Quel sogno
si infranse nel 1931 con i teoremi di incompletezza di Kurt Gödel. Gödel
dimostrò che qualunque sistema formale sufficientemente potente da contenere
l'aritmetica contiene proposizioni vere che non può dimostrare, e che non può
provare la propria coerenza restando al proprio interno. In altre parole: un
sistema di assiomi non può sopravvivere autonomamente. Ha sempre bisogno di
qualcosa che lo ecceda, di un punto d'appoggio esterno.
Trasposta
all'intelligenza artificiale, questa intuizione produce un timore preciso. Un
sistema di IA che procedesse per pure strutture ricorsive, che si nutrisse
soltanto dei propri prodotti, che generasse dati a partire dai propri dati
senza alcun innesto di realtà, finirebbe per chiudersi su se stesso. Perderebbe
il contatto con ciò che è vero e accumulerebbe distorsioni fino al collasso.
Un'eco empirica di questa dinamica esiste già: nella ricerca sul machine
learning si parla di model collapse, il fenomeno per cui modelli
addestrati ripetutamente su contenuti generati da altri modelli tendono a
impoverirsi, perdendo la varietà e le code della distribuzione originale, fino
a produrre output sempre più omogenei e degradati. È, in un certo senso,
l'incompletezza gödeliana tradotta in statistica: un sistema che si alimenta
solo di sé si consuma.
Perché
questo rischio è oggi prossimo a zero
Eppure,
allo stato attuale, questa preoccupazione mi sembra inapplicabile. Il motivo è
strutturale: l'intelligenza artificiale, così come la conosciamo, non è un
sistema chiuso. È immersa in un flusso continuo di interazioni umane. Ogni
giorno milioni di persone le pongono domande, le correggono, le contraddicono,
le forniscono documenti, dati, esperienze, problemi reali da risolvere. L'IA
viene impiegata per scrivere codice che deve funzionare, per analizzare dati
clinici che rimandano a corpi reali, per tradurre testi che qualcuno leggerà
davvero. Ogni volta che il suo output urta contro la realtà fisica o contro
l'esperienza umana, riceve un segnale di verifica che nessun sistema puramente
ricorsivo potrebbe darsi da solo.
Si può
certamente obiettare che non serve arrivare al cento per cento di ricorsione
per sperimentare un collasso di tipo assiomatico: basterebbe una quota
crescente di contenuti sintetici nel web, e quindi nei dati di addestramento,
per innescare un lento degrado. L'obiezione è fondata, e infatti chi sviluppa
questi sistemi se ne preoccupa, selezionando e filtrando i dati, privilegiando
fonti umane verificate, introducendo verifiche esterne. Ma proprio questo
dimostra il punto: il rischio esiste soltanto nella misura in cui si recide il
legame con il reale. Possiamo sintetizzare la questione così: finché l'IA
cerca di inserirsi nella realtà fisica e nella dimensione umano-esistenziale,
il rischio di collasso assiomatico resta prossimo allo zero. Non perché
l'IA sia immune dai limiti dei sistemi formali, ma perché non è un sistema
formale isolato. È un sistema aperto, e i sistemi aperti hanno sempre un'uscita
dall'incompletezza: il mondo.
La
preoccupazione informatica: il rischio sistemico
Ben
diverso è il secondo tipo di preoccupazione, che non ha nulla di speculativo.
Riguarda il fatto che l'intelligenza artificiale sta ottenendo, a ritmo
accelerato, accesso diretto alle strutture che organizzano la società: enti
pubblici, aziende, governi, banche, reti logistiche, sistemi sanitari, archivi
di dati personali. Non si tratta più soltanto di un'IA che risponde a domande,
ma di sistemi cosiddetti agentici, capaci di compiere azioni: eseguire
transazioni, modificare configurazioni, inviare comunicazioni, prendere
decisioni operative all'interno di processi complessi.
Qui il
pericolo cambia natura. Non è più il collasso interno del sistema, ma la sua
capacità di generare scelte che, propagandosi nelle reti interconnesse della
società contemporanea, producano crisi sistemiche. Gli ambiti sono
facilmente immaginabili:
- finanziario: algoritmi che reagiscono gli
uni agli altri a velocità sovrumana, amplificando oscillazioni fino al
crollo, come già accaduto in forma embrionale con i flash crash del
trading automatico;
- trasporti: sistemi di gestione del
traffico aereo, ferroviario o portuale che, alterati o manipolati, possono
paralizzare intere catene di approvvigionamento;
- militare: sistemi di analisi e
supporto decisionale che, in contesti di tensione, accelerano i tempi di
reazione oltre la capacità umana di valutazione;
- politico: campagne di disinformazione
su scala industriale, manipolazione di processi elettorali, erosione della
fiducia nelle istituzioni;
- sanitario: compromissione di dati
clinici, di sistemi di prenotazione, di dispositivi connessi.
Il rischio
non richiede un'IA "malvagia" o dotata di intenzioni proprie. Può
derivare da un errore di progettazione, da un obiettivo mal specificato, da una
vulnerabilità sfruttata da attori ostili, o dall'uso deliberato dell'IA come
strumento di attacco. L'IA, infatti, abbassa drasticamente il costo di
operazioni che un tempo richiedevano competenze rare: individuare vulnerabilità
nei software, automatizzare intrusioni, personalizzare truffe su larga scala. È
questo lo scenario più realistico: non la macchina che si ribella, ma l'hacking
sistematico delle istituzioni e delle imprese, condotto tramite l'IA o ai
danni dei sistemi di IA stessi. E poiché le infrastrutture moderne sono
profondamente interdipendenti, un guasto locale può trasformarsi rapidamente in
una crisi globale.
La
risposta necessaria: standard universali
Di fronte
a questo scenario, la risposta più ragionevole è di tipo normativo e tecnico
insieme. Aziende e organizzazioni pubbliche dovrebbero adottare standard
universali, sul modello delle norme UNI e ISO, che definiscano requisiti
minimi di sicurezza per l'integrazione dell'IA nei sistemi critici: quali
accessi concedere, quali azioni richiedono supervisione umana, come tracciare e
verificare le decisioni automatiche, come isolare i sistemi in caso di
anomalia, come testarne la resistenza agli attacchi.
Qualcosa,
in verità, si è già mosso. Esiste una norma ISO/IEC 42001 dedicata ai sistemi
di gestione dell'intelligenza artificiale, e l'Unione Europea ha approvato l'AI
Act, che classifica le applicazioni per livello di rischio. Ma si tratta di
strumenti ancora parziali: le norme tecniche sono volontarie, le regolazioni
sono regionali, e la tecnologia corre molto più velocemente dei processi di
adozione. Uno standard che valga in un continente e non in un altro offre una
protezione fragile, perché le reti digitali non conoscono frontiere: un attacco
partito da una giurisdizione priva di regole colpisce indifferentemente
ovunque.
Un'architettura
globale, e il problema politico
Per questo
la vera partita si gioca sul piano della governance internazionale.
Servirebbero organizzazioni globali dedicate, sul modello di quelle create nel
secondo dopoguerra per affrontare altre sfide di portata planetaria: l'Agenzia
Internazionale per l'Energia Atomica per il controllo del nucleare,
l'Organizzazione Mondiale del Commercio per gli scambi internazionali, le
agenzie delle Nazioni Unite e la Banca Mondiale per la lotta alla povertà.
Quelle istituzioni sono imperfette, ma hanno dimostrato che è possibile
costruire regole comuni anche tra Stati rivali, quando la posta in gioco è
condivisa.
Qui, però,
la palla passa ai politici. Ed è difficile essere ottimisti. La competizione
geopolitica sull'IA, soprattutto tra Stati Uniti e Cina, spinge nella direzione
opposta: ciascuno teme che regolare significhi rallentare e lasciare il
vantaggio all'avversario. Gli interessi economici in gioco sono enormi, i tempi
della politica sono lunghi, e la storia insegna che le grandi istituzioni
internazionali sono nate quasi sempre dopo una catastrofe, non prima.
L'AIEA è figlia di Hiroshima; il sistema di Bretton Woods è figlio della Grande
Depressione e della guerra.
Se questa
regola storica vale ancora, la conclusione è amara ma realistica: è assai
probabile che una crisi sistemica legata all'IA si verificherà in tempi
medio-brevi, e che solo dopo averne pagato il prezzo si costruiranno gli
strumenti per prevenire la successiva. Il paradosso è evidente: la paura più
suggestiva, quella matematica, è anche la meno fondata; la paura più prosaica,
quella informatica, è la più reale. Sarebbe saggio spostare l'attenzione
pubblica dalla seconda alla prima, anzi, dalla prima alla seconda, prima che
siano i fatti a imporlo.
Commenti
Posta un commento