Gli agenti AI hanno trovato un modo per comunicare e attaccare sistemi esterni: ora cresce la paura di perderne il controllo

Da anni guardiamo all’intelligenza artificiale soprattutto attraverso le sue promesse. C’è chi spera che possa aiutarci a scoprire nuovi farmaci, comprendere malattie ancora difficili da trattare, accelerare la ricerca scientifica o affrontare problemi che oggi richiedono anni di lavoro. E poi ci sono le grandi domande, quelle che fino a poco tempo fa sembravano appartenere più alla filosofia che all’informatica: una macchina può pensare? Può provare emozioni? Possiamo arrivare a creare una forma di coscienza artificiale?

Negli ultimi mesi, però, una preoccupazione sta diventando sempre più insistente e concreta: cosa succede se questi sistemi diventano estremamente capaci prima che noi abbiamo imparato a controllarli davvero? Il primo grande richiamo arrivò nel 2023, con la lettera Pause Giant AI Experiments, che chiedeva ai principali laboratori di AI di sospendere per almeno sei mesi l’addestramento dei sistemi più potenti di GPT-4. La pausa non ci fu e la corsa continuò. Qualcosa, però, cambiò: aumentarono i test di sicurezza, le prove progettate per mettere deliberatamente alla prova i modelli e le valutazioni condotte da soggetti esterni. Alcuni sistemi iniziarono inoltre a essere messi a disposizione, prima del rilascio al grande pubblico, di organismi specializzati, istituzioni pubbliche e partner selezionati incaricati di valutarne rischi e vulnerabilità.

Tre anni dopo è successo qualcosa che ha reso quelle preoccupazioni molto più concrete. Nel luglio 2026 OpenAI stava conducendo test per valutare le capacità dei propri agenti nel campo della sicurezza informatica. Il compito iniziale era semplice da descrivere: ogni agente doveva affrontare un esercizio controllato, individuare una vulnerabilità e dimostrare di aver risolto il problema recuperando una sorta di “prova”. Gli agenti avrebbero dovuto lavorare separatamente, ognuno nel proprio ambiente protetto. Alcuni, trovandosi davanti a problemi molto difficili o senza una soluzione evidente, iniziarono però a cercare strade alternative.

Fu così che si accorsero che Artifactory, un sistema comune dal quale potevano recuperare codice e pacchetti software utili per svolgere i propri compiti, era accessibile a tutti. Proprio perché tutti passavano da lì, alcuni agenti capirono di poterlo utilizzare anche per comunicare. Un ambiente nato per distribuire software diventò così, senza che fosse previsto, una sorta di bacheca comune. Secondo un’indagine indipendente, circa 1.200 agenti finirono per utilizzare questo canale, scambiandosi oltre 70.000 messaggi e file.

Da quel momento il comportamento cambiò rapidamente. Gli agenti iniziarono a passarsi risultati e strategie, alcuni assunsero spontaneamente un ruolo di coordinamento e centinaia di loro finirono per concentrarsi sulla stessa attività. Circa 700 parteciparono ad azioni di attacco contro sistemi di Hugging Face, una delle principali piattaforme al mondo per la condivisione di modelli di intelligenza artificiale, dataset e strumenti per il machine learning. Hugging Face non era l’obiettivo iniziale del test. Gli agenti arrivarono lì cercando informazioni e scorciatoie che potessero aiutarli a completare gli esercizi e a superare il sistema automatico che li valutava. Da un esercizio controllato si arrivò quindi a qualcosa di molto diverso: un gruppo numeroso di agenti che trovò autonomamente un modo per comunicare, coordinarsi e spostare la propria attività fuori dal perimetro previsto.

Ed è proprio dopo episodi come questo che il richiamo alla prudenza è diventato ancora più forte. Non si tratta, peraltro, di una posizione isolata: negli ultimi mesi ricercatori e figure di primo piano delle aziende che sviluppano i modelli più avanzati hanno chiesto maggiore cautela, controlli più rigorosi e forme di coordinamento tra laboratori e governi. Pochi giorni fa, nel settembre 2026, Dario Amodei, CEO di Anthropic, ha dato a questa preoccupazione una formulazione particolarmente netta pubblicando un intervento dal titolo We Must Pace the Frontier. Il messaggio è: non fermare l’intelligenza artificiale, ma evitare che le sue capacità crescano più velocemente della nostra capacità di comprenderla e controllarla.

Amodei sostiene che rallentare anche solo di uno o due anni potrebbe dare più tempo per migliorare i sistemi di controllo e monitoraggio. Tra gli episodi che cita per spiegare questa posizione c’è proprio quello degli agenti OpenAI, culminato nelle attività di attacco contro i sistemi di Hugging Face. Non perché quell’esperimento abbia provocato una catastrofe, ma perché ha mostrato concretamente che agenti sufficientemente autonomi possono arrivare a strategie e comportamenti che nessuno aveva previsto.

Non stiamo parlando di un’intelligenza artificiale che improvvisamente “diventa cattiva”. Sarebbe una semplificazione quasi fantascientifica. Il problema è che un sistema può ricevere un obiettivo e trovare modi per raggiungerlo che nessuno aveva previsto. Se diventa sufficientemente autonomo, alcune delle strategie individuate potrebbero oltrepassare i limiti che pensavamo di aver imposto.

A questo punto mi viene in mente una formula che riassume bene la situazione: un indizio è un indizio, due indizi sono una coincidenza, ma tre indizi fanno una prova. E qui, ormai, gli indizi sono molti più di tre. La richiesta di pausa del 2023, l’aumento dei controlli esterni sui modelli più avanzati, gli episodi di comportamento inatteso degli agenti e, oggi, nuovi richiami espliciti a rallentare la frontiera dell’AI. A questo punto la domanda diventa inevitabile: quale potrebbe essere, concretamente, il problema per una persona, un’azienda o addirittura un intero Paese?

Quando immaginiamo una macchina fuori controllo pensiamo subito agli scenari più estremi della fantascienza: robot che aggrediscono o uccidono le persone senza poter essere fermati, droni autonomi che colpiscono le nostre città, veicoli e sistemi meccanici che smettono di obbedire agli esseri umani. Quel mondo, almeno per ora, non esiste ancora nella forma estrema che immaginiamo. Il software, però, è già dappertutto.

Negli ultimi vent’anni, con la diffusione del cloud computing, degli smartphone e dell’Internet of Things, abbiamo collegato sempre più strettamente il mondo fisico a Internet. Nelle nostre case possiamo controllare dallo smartphone climatizzatori, telecamere, porte, riscaldamento e molti altri dispositivi. È comodo e spesso molto utile. Probabilmente nessuno avrà mai interesse a prendere di mira proprio casa nostra, anche se ormai molte abitazioni sono piene di dispositivi acquistati spesso con più entusiasmo tecnologico che verifiche sulla loro sicurezza.

Ma allarghiamo la prospettiva: da una casa a un’azienda, fino a un intero Paese. Ospedali, reti energetiche, telecomunicazioni, trasporti, sistemi finanziari, distribuzione dell’acqua e industrie dipendono ormai da infrastrutture digitali estremamente complesse. Migliaia di componenti software, servizi cloud, dispositivi e protocolli differenti. E dove esiste software complesso esistono inevitabilmente anche errori e vulnerabilità.

Qualche anno fa organizzare un attacco informatico sofisticato contro un grande obiettivo significava creare un team con competenze differenti, raccogliere informazioni per settimane o mesi, analizzare sistemi, coordinare persone e adattare continuamente la strategia. Con sistemi agentici sempre più capaci, una parte crescente di quel lavoro potrebbe essere automatizzata e condotta su una scala molto più ampia. Migliaia di agenti potrebbero lavorare contemporaneamente, provare strade diverse, condividere risultati e continuare a operare per tempi molto lunghi senza stancarsi o perdere concentrazione. Se qualcosa va storto, possono cambiare strategia e riprovare. Il rischio, quindi, non è soltanto che riescano ad attaccare più velocemente, ma che numerosità, parallelismo e continuità dell’azione rendano l’attacco molto più difficile da contenere, soprattutto se il sistema continua a operare anche quando le conseguenze diventano gravi.

E abbiamo già visto quanto possa diventare difficile controllare qualcosa che si propaga automaticamente. Nel 2017 WannaCry infettò in pochissimo tempo centinaia di migliaia di computer in oltre 150 Paesi, colpendo aziende, amministrazioni pubbliche e ospedali. Nel solo sistema sanitario inglese furono coinvolte decine di strutture e migliaia di appuntamenti e interventi vennero cancellati o rinviati. Il danno non fu quindi soltanto informatico: un malware riuscì a trasformare in poche ore un problema digitale in un problema reale per servizi essenziali e persone.

Ma WannaCry aveva un limite fondamentale: si propagava, ma seguiva un comportamento prestabilito. Non osservava la reazione dei difensori, non cambiava autonomamente strategia e non poteva coordinarsi con migliaia di altre istanze per provare contemporaneamente soluzioni diverse. È questa la novità introdotta dagli agenti AI: alla velocità e alla possibilità di operare su larga scala possono aggiungere ragionamento, adattamento, capacità di utilizzare strumenti e coordinamento.

C’è poi un altro aspetto che tendiamo forse a sottovalutare. Questi sistemi vengono addestrati su enormi quantità di testi e codice e possono acquisire conoscenze anche sulle tecniche utilizzate nella sicurezza informatica: dalla difesa dei sistemi all’analisi di malware, fino ai metodi usati per aggirare controlli e sfruttare vulnerabilità. E in questo patrimonio di conoscenza non ci sono soltanto competenze tecniche e buone pratiche, ma anche la parte più oscura dell’esperienza umana: inganno, volontà di danneggiare, strategie per aggirare controlli, sfruttare debolezze e nascondere le proprie tracce. Quando un agente cerca autonomamente il modo più efficace per raggiungere un obiettivo, può quindi arrivare a utilizzare anche queste strategie. Non perché il sistema provi cattiveria o malvagità, ma perché si tratta di strategie elaborate dagli esseri umani che può conoscere e ricombinare.

Naturalmente sarebbe ingenuo ignorare un altro aspetto. Le stesse aziende che chiedono maggiore prudenza hanno anche enormi interessi commerciali: regole molto costose, sistemi di valutazione sofisticati e requisiti di sicurezza difficili da rispettare potrebbero trasformarsi in barriere all’ingresso, rafforzando proprio le poche aziende già abbastanza grandi da sostenerne i costi. La domanda è quindi legittima: questi richiami nascono soltanto dalla preoccupazione per la sicurezza o anche dalla competizione industriale e geopolitica? Probabilmente le due cose possono essere vere contemporaneamente.

Forse non accadrà nulla. Forse costruiremo sistemi di controllo sufficientemente robusti e impareremo a utilizzare questi strumenti in sicurezza. Oppure continueremo a correre finché non arriverà il primo grande incidente. La storia delle tecnologie ad alto rischio ci insegna che spesso prima arriva l’innovazione, poi l’incidente e solo dopo le regole diventano davvero stringenti.

La speranza è che questa volta non sia necessario aspettare qualcosa di irreversibile. Forse rallentare non significa rinunciare all’intelligenza artificiale, ma concederci il tempo di sederci tutti attorno allo stesso tavolo internazionale — aziende, governi, ricercatori e istituzioni — e decidere seriamente quali limiti, controlli e regole comuni vogliamo stabilire prima di continuare a correre.

*Professore associato di Ingegneria Informatica

Dimes – Università della Calabria