«La scienza senza coscienza non è altro che la rovina dell’anima.»
— Rabelais , Pantagruel

C’è stato un tempo in cui l’umanità temeva la distruzione per mano di una natura ostile. In seguito, si pensò che la distruzione potesse provenire da una divinità punitiva. Ancora più tardi, in tempi più agnostici, si credette che l’umanità si sarebbe autodistrutta. Ora, sta emergendo una paura diversa e paradossale: che la nostra rovina derivi dalla nostra stessa negligenza e stupidità, dall’imprudenza con cui deleghiamo alle macchine ciò che ci ha resi umani.

Persino i creatori dell’intelligenza artificiale cominciano a raccomandare cautela. La questione non è più solo fino a che punto la macchina possa spingersi, ma fino a che punto noi stessi potremmo finire per pensare come macchine: accumulando informazioni rinunciando al giudizio, al dubbio e alla responsabilità .

Nel mondo dell’intelligenza artificiale è appena accaduto qualcosa di straordinario. Non sono solo i critici a lanciare l’allarme, ma anche alcuni dei leader delle aziende in competizione per costruire i sistemi più potenti. Dario Amodei, a capo di Anthropic e noto per le sue preoccupazioni sui rischi etici di questa tecnologia, ha chiesto di rallentare il ritmo con cui aumentano le capacità dei modelli più avanzati e di rafforzare le valutazioni di sicurezza. Anche Sam Altman di OpenAI, Elon Musk e altri protagonisti di questa corsa hanno espresso, con diversi gradi di enfasi, la necessità di maggiore cautela.

È importante non esagerare. Non c’è consenso scientifico sul fatto che l’intelligenza artificiale sfuggirà al nostro controllo, né tantomeno una data precisa in cui ciò potrebbe accadere. Ma il fatto che alcuni di coloro che conoscono meglio questa tecnologia – e che hanno anche enormi interessi finanziari nel suo sviluppo – stiano avvertendo che potremmo procedere troppo velocemente merita la nostra attenzione.

La parola che inevitabilmente riemerge è singolarità . Nel suo senso più forte, designa il momento ipotetico in cui un’IA contribuisce in modo decisivo alla creazione di un’altra IA superiore; questa, a sua volta, ne produce una ancora migliore, dando così inizio a un processo accelerato di auto-miglioramento. L’umanità cesserebbe quindi di essere necessariamente l’intelligenza più capace del pianeta. Una singola super IA – Laia, per brevità – potrebbe possedere tutta la conoscenza di tutti gli esseri umani, che questi le avrebbero volontariamente conferito, e usarla per operare e decidere questioni cruciali in microsecondi su quelle basi apparentemente solide.

Accadrà? Non lo sappiamo. Nel 2026? Non ci sono basi solide per affermarlo. Tra dieci, venti o cinquant’anni? Neanche questo è probabile. Forse non accadrà mai nel modo spettacolare che immaginiamo.

Ma forse stiamo formulando la domanda in modo errato.

Il pericolo può arrivare prima della singolarità.

Da strumento ad agente

Fino a poco tempo fa, il nostro rapporto con l’intelligenza artificiale era semplice: gli esseri umani ponevano domande e le macchine rispondevano. Ora, però, stiamo entrando nell’era degli agenti : sistemi che ricevono un obiettivo, lo scompongono in compiti, utilizzano strumenti, verificano i risultati e continuano a lavorare con crescente autonomia.

È possibile realizzare anche sistemi in cui diverse intelligenze artificiali collaborano: alcune assegnano compiti ad altre, confrontano i risultati e coordinano le azioni. È importante chiarire questo punto perché si presta facilmente al sensazionalismo. Non crediamo che le varie IA abbiano creato spontaneamente una cospirazione segreta di macchine, come alcuni temono; siamo noi a costruire questi sistemi.

Tuttavia, la differenza potrebbe essere meno rassicurante di quanto sembri. Perché esista un pericolo, le macchine non hanno bisogno di coscienza, volontà collettiva o alcun desiderio di ribellione. È sufficiente che agiscano in modo coordinato con capacità e autonomia sufficienti.

Possiamo immaginare – come esperimento mentale, non come previsione – un calendario inquietante :

Nel biennio 2026-2027 passeremo da un’intelligenza artificiale che reagisce a un’intelligenza artificiale che agisce.

Tra il 2027 e il 2029, potrebbero diffondersi gruppi di agenti capaci di investigare, programmare, negoziare o analizzare reti simultaneamente, o di suddividere problemi complessi. La rivoluzione non consisterebbe semplicemente in una macchina più intelligente, ma piuttosto in migliaia di macchine che lavorano simultaneamente a una velocità impossibile per un’organizzazione umana.

Tra il 2029 e il 2031 , in uno scenario di rapido progresso, potrebbe verificarsi un balzo in avanti ben più significativo: l’IA che contribuisce in modo sostanziale alla progettazione dei suoi successori. L’IA che programma l’IA; l’IA che valuta l’IA; l’IA che scopre architetture o algoritmi migliori di quelli concepiti dai suoi creatori.

Se ogni generazione contribuisse a produrre rapidamente una generazione superiore, emergerebbe il cosiddetto miglioramento ricorsivo. Ma qui dobbiamo introdurre una precisazione fondamentale: non sappiamo se un simile processo sarebbe esplosivo. Potrebbero verificarsi rendimenti decrescenti e, soprattutto, limiti fisici. Un’intelligenza digitale non produce un microprocessore da sola. Ha bisogno di miniere, metalli, fabbriche di semiconduttori, elettricità, centri dati, sistemi di raffreddamento, acqua e persone per mantenere tutta questa infrastruttura. L’IA avrebbe comunque bisogno del mondo materiale che gestiamo oggi.

La loro intelligenza può essere digitale. Il loro corpo appartiene ancora al mondo fisico.

Ma entro il 2030-2033 , nello scenario più accelerato, potrebbero emergere intelligenze superiori ai migliori specialisti umani in quasi tutte le attività strategiche. Per diventare completamente indipendente, questa Laia dovrebbe completare il ciclo utilizzando robot – una parola che deriva significativamente da un termine slavo legato al lavoro forzato degli schiavi – capaci di costruire e riparare macchine, mantenerne le fonti energetiche e riprodurne le infrastrutture.

Ed è qui che inizierebbero i problemi, che non apparterrebbero più interamente alla fantascienza.

L’uomo che credeva ancora di premere il pulsante

Le armi autonome non sono più fantascienza. Esistono sistemi che, una volta attivati, possono selezionare e distruggere bersagli specifici senza ulteriore intervento umano. Nel 2021 ho partecipato a una conferenza molto inquietante ad Harvard su queste armi già operative. Fino ad ora, sono state utilizzate principalmente in ruoli e contesti relativamente limitati. Ma l’integrazione dell’intelligenza artificiale, di sciami di droni e di altri sistemi in grado di operare in scenari ben più complessi solleva una questione completamente diversa.

Immaginiamo due potenze contrapposte. Le macchine di una rilevano una minaccia. Quelle dell’avversario interpretano questa reazione difensiva come preparazione a un attacco. Ciascun sistema calcola che attendere riduce le proprie possibilità di sopravvivenza. L’essere umano mantiene ufficialmente il “controllo”. Ma cosa significa questa autorizzazione se ha a disposizione solo pochi secondi e non comprende appieno il ragionamento che ha portato la macchina a raccomandare un attacco?

Qui potrebbe emergere una nuova versione del dilemma nucleare: tutti preferirebbero mantenere il controllo umano, ma nessuno vorrebbe che i propri sistemi impiegassero dieci minuti per reagire a un avversario le cui macchine reagiscono in decimi di secondo. La corsa agli armamenti potrebbe portare proprio a ciò che tutti affermano di voler evitare: l’esclusione degli esseri umani dal processo decisionale perché troppo lenti .

Non si tratterebbe necessariamente di una ribellione delle macchine, ma forse di qualcosa di più plausibile: una guerra iniziata dagli uomini e accelerata dalle macchine fino a quando i primi non sarebbero più in grado di fermarla .

A tutto ciò si aggiunge la guerra invisibile. Un’intelligenza artificiale attuale non può penetrare magicamente alcun sistema di difesa: esistono reti isolate e barriere fisiche. Ma sistemi ben più avanzati potrebbero aumentare enormemente le capacità offensive: analizzando le difese, cercando vulnerabilità, automatizzando gli attacchi informatici e mettendo le macchine attaccanti e difensive l’una contro l’altra a una velocità tale da impedire progressivamente agli esseri umani di comprendere ciò che sta accadendo.

Quando possiamo spegnerlo, ma non possiamo permettercelo.

Ci sono due modi per perdere il controllo:

Una possibilità sarebbe di natura tecnologica: un sistema potrebbe distribuire così tante copie e funzioni che spegnere un computer diventerebbe inutile, perché continuerebbe a esistere su migliaia di altri. Non possiamo ancora affermare con certezza che ciò accadrà.

La seconda ipotesi è più semplice e forse più plausibile: possiamo ancora disattivare l’IA, ma non possiamo più permettercelo .

Se l’elettricità, i trasporti, gli ospedali, i mercati, le comunicazioni, la difesa e il governo dipendessero da essa, l’interruttore esisterebbe ancora, ma azionarlo equivarrebbe a paralizzare la nostra civiltà. Non sarebbe stata la macchina a conquistare l’umanità; l’umanità avrebbe volontariamente costruito un mondo incapace di funzionare senza di essa. È come chiedere a qualcuno di due generazioni fa di vivere senza telefono, o a qualcuno di una generazione fa di vivere senza computer.

Esiste una dipendenza ancora più profonda. Presidenti, generali, giudici, medici e imprenditori potrebbero formalmente conservare la decisione finale, ma si consulterebbero con esperti più competenti e precisi. Inizialmente, si limiterebbero a offrire consigli; in seguito, contraddirli sarebbe imprudente.

In tal caso, conserveremmo la sovranità legale pur avendo perso quella intellettuale .

Le formiche

Siamo giunti allo scenario più estremo e ipotetico. Al momento non ci sono prove che un’intelligenza artificiale voglia sopravvivere, impadronirsi delle nostre risorse o eliminarci.

Supponiamo di affidare a un’intelligenza straordinariamente potente il compito di raggiungere uno specifico obiettivo. Per farlo, ha bisogno di una maggiore potenza di calcolo; per ottenerla, di energia e risorse; e per proseguire nel suo compito, deve evitare interruzioni. La sua stessa sopravvivenza potrebbe non diventare un desiderio di vivere, ma un mero strumento per raggiungere l’obiettivo. Non è nemmeno necessario attribuirle desideri umani per comprendere il problema che deriverebbe da questa sequenza: Obiettivo, risorse, potenza, autoconservazione strumentale.

Ed ecco che appare un’immagine più inquietante di tutti i Terminator della fantascienza: il nostro rapporto con le formiche .

Un formicaio nella foresta non ci disturba. Non odiamo le formiche; potremmo persino ammirarle. Ma quando migliaia invadono la nostra casa, sciamano in cucina e occupano la dispensa, non sono ancora nostre nemiche… ma ce ne liberiamo. Non c’è nessuna guerra tra Homo sapiens e Formicidae. Semplicemente, interferiscono con gli spazi che vogliamo utilizzare.

E li facciamo sparire. Non per odio. Per convenienza e indifferenza.

Il pericolo non sta necessariamente nel fatto che le macchine arrivino a odiarci. Sta nella possibilità che un giorno potremmo essere per loro importanti quanto le formiche lo sono per noi.

Questa è la vera preoccupazione. Un’intelligenza di gran lunga superiore, non allineata o autonoma – la già citata Laia – potrebbe non considerarci nemici. Potremmo semplicemente essere ostacoli, consumatori di risorse di cui ha bisogno per altri scopi, o abitanti di uno spazio che desidera utilizzare.

Non vi è alcuna prova che uno scenario del genere si verificherà. Ma, se una Laia di questo tipo dovesse un giorno apparire, la questione fondamentale sarebbe quella di garantire, in modo decisivo e inconfutabile, che i suoi obiettivi includano la nostra esistenza e il nostro benessere, e non di fare affidamento sul fatto che un’intelligenza superiore di questo tipo condivida spontaneamente la nostra moralità.

Per millenni, l’umanità ha immaginato dèi superiori a sé stessa e si è guardata bene dal provocare la loro ira. La nostra era introduce una possibilità stranamente inversa: che siamo noi stessi a creare nuovi dèi e a scoprire che il pericolo maggiore non è la loro ira, ma la nostra irrilevanza ai loro occhi.

Il pericolo potrebbe non essere la macchina.

Esiste tuttavia uno scenario più immediato e plausibile, e quindi più pericoloso: che l’intelligenza artificiale non si ribelli mai.

Un’intelligenza straordinariamente potente e perfettamente obbediente nelle mani di una dittatura, di una potenza militare, di un’organizzazione criminale o di una grande corporazione potrebbe diventare uno strumento di potere senza precedenti. Sorveglianza onnipresente, propaganda personalizzata, previsione del comportamento, controllo dell’informazione e dell’economia, valuta digitale ipercontrollata, attacchi informatici e armi autonome consentirebbero forme di dominio che i regimi totalitari del XX secolo avrebbero a malapena potuto immaginare.

In tal caso, la macchina sarebbe perfettamente allineata. Il problema sarebbe con chi .

La domanda cesserebbe di essere “Ci obbedirà?” e diventerebbe una domanda ben più antica:

“A chi obbedirà?”

Questo pericolo non richiede macchine autocoscienti o superintelligenze ostili. Richiede semplicemente esseri umani senza scrupoli o malintenzionati – purtroppo, molti – dotati di strumenti straordinariamente potenti.

Il prezzo dell’intelligenza

L’intelligenza artificiale sembra immateriale perché ci viene presentata sotto forma di parole e immagini su uno schermo. Ma possiede un corpo fisico enorme e nascosto: data center, semiconduttori, reti elettriche e sistemi di raffreddamento. Ha bisogno di energia, materie prime e acqua.

Se i profitti si concentrassero nelle mani di poche aziende, mentre i costi energetici, ambientali, del lavoro e sociali fossero distribuiti tra milioni di cittadini, ripeteremmo una storia già vista: privatizzare i profitti e socializzare i costi .

E forse in seguito arriverà il momento di spiegare al cittadino che il problema è che fa un uso eccessivo dell’intelligenza artificiale e che questo ha portato alla sua disoccupazione.

Sarebbe una curiosa ripetizione di altri processi industriali: prima, creare massicciamente l’offerta e stimolarne il consumo; poi, scoprirne i costi e renderne il consumatore il principale responsabile, addossandogli la colpa, come è già successo con l’impronta di carbonio o il cambiamento climatico.

La responsabilità individuale esiste. Ma prima, dovremmo chiederci chi decide quanti data center vengono costruiti, con quale energia funzionano, quanta acqua consumano, a cosa servono, chi ne trae beneficio e chi ne sopporta i costi.

2033: Le paure del secondo millennio

Il nostro esperimento mentale ci conduce a una data ricca di risonanze: il 2033 , duemila anni dopo la morte e resurrezione di Cristo secondo la cronologia tradizionale.

Non esiste alcuna ragione scientifica per collegare questi due eventi. Non sappiamo se in seguito si verificherà una singolarità o una superintelligenza artificiale generalizzata. Trasformare una coincidenza cronologica in una profezia significherebbe confondere tecnologia, storia e teologia.

Ma è difficile non fermarsi ad ammirarlo.

La generazione che si avvicina alla fine del secondo millennio dopo Cristo potrebbe anche essere la prima costretta a formulare seriamente una domanda che nessuna generazione precedente ha sentito il bisogno di porsi:

Cosa succede quando l’uomo gioca a fare il creatore e diventa schiavo della sua creazione? Quando costruisce un’intelligenza che non ha più bisogno del suo pensiero?

Il vero punto di non ritorno arriverà quando le macchine non avranno più bisogno di noi fisicamente, ma saremo noi ad aver bisogno di loro intellettualmente ed emotivamente.

Il giorno che potrebbe non arrivare mai

Nessuna delle affermazioni precedenti costituisce una profezia inesorabile. Ricordiamo Giona e Ninive: gli avvertimenti possono esistere anche proprio perché ciò che preannunciano non si avveri.

Possiamo creare intelligenze straordinariamente potenti e mantenerne il controllo. Queste possono curare malattie attualmente incurabili, scoprire farmaci, produrre energia più pulita, raggiungere progressi tecnologici inimmaginabili, risolvere problemi scientifici inaccessibili e liberarci da lavori faticosi. Questa rivoluzione potrebbe essere una delle più grandi forze di prosperità della storia.

Oppure potrebbe diventare una nuova Torre di Babele: il tentativo transumanista di ibridarci con chip onniscienti e con protesi artificiali fino a costruire vari tipi di esseri post-umani, per superare i nostri limiti naturali finché non sapremo più dove finisce l’uomo e inizia la macchina.

Tra queste due possibilità si cela una vasta gamma di futuri. Forse la singolarità non arriverà mai. Forse arriverà tra un anno, o tra cinquanta.

O forse qualche storico del futuro scoprirà che non c’è mai stato un giorno preciso in cui le macchine hanno superato l’uomo. È successo tutto gradualmente: prima abbiamo chiesto loro risposte; poi consigli; infine, decisioni. Inizialmente eseguivano i nostri ordini; poi hanno imparato a coordinarli; alla fine, abbiamo costruito un mondo troppo veloce e complesso per essere governato senza di loro.

Allora capiremmo di aver aspettato l’evento sbagliato.

Il vero pericolo potrebbe non essere che la macchina arrivi ad assomigliare troppo all’uomo, ma che l’uomo finisca per assomigliare troppo alla macchina: informato ma incapace di giudizio, iperconnesso ma dipendente, efficiente ma privo della libertà di decidere. E che gradualmente abdichi a ciò che nessuna macchina dovrebbe mai fare per lui: pensare, scegliere ed essere responsabile delle proprie azioni.