Il controllo umano sui robot assassini potrebbe dipendere da queste tre parole

Immagina questo scenario: due paesi sono in guerra. Il Paese X invia un drone in una grande città industriale del Paese Y, con l’obiettivo di colpire due serbatoi di propano. Una sequenza di routine. Ma questa volta il drone non raggiunge i bersagli. Al contrario, il drone del Paese X colpisce accidentalmente una parete nelle vicinanze, esplode e uccide tre giovani civili.

Quando il Paese Y recupera infine i resti del drone per le informazioni, scopre al suo interno un supercomputer basato sull’IA che rivela qualcosa di inquietante. Invece che una persona decida cosa colpire — l’IA ha deciso.

La verità è che non serve immaginare questa scena — è già accaduta. Per la prima volta nella guerra tra Russia e Ucraina, come riportato recentemente dal The New York Times, tre civili ucraini sono stati uccisi da un drone russo, sviluppato, progettato e lanciato da esseri umani, che alla fine ha scelto autonomamente il bersaglio. E questa nuova realtà si sta delineando come il futuro della guerra.

Questo accade perché una serie di paesi, tra cui quelli con le forze armate più influenti al mondo, sta rifiutando l’idea che gli esseri umani debbano sempre controllare le armi in guerra.

Invece, man mano che le nuove tecnologie di armi autonome diventano più capaci e i quadri legali internazionali esistenti faticano a tenere il passo, alcuni paesi abbracciano una visione più ampia della responsabilità umana: che le persone possano esercitare un controllo sufficiente non approvando ogni singolo attacco, ma progettando, testando e definendo le regole secondo cui opera una data arma.

Questo cambiamento ha prodotto uno dei dibattiti politici più importanti di oggi. E, in ultima analisi, la dominazione umana sui “robot killer” — come sono comunemente chiamate le armi autonome — potrebbe ridursi a una battaglia tra due frasi di tre parole: “controllo umano significativo” contro “giudizio umano appropriato.”

Una battaglia semantica ad alto rischio

All’inizio degli anni 2010, “controllo umano significativo” emerse come primo quadro di riferimento nei primi dibattiti internazionali sulla regolamentazione di un livello accettabile di coinvolgimento umano (o della sua mancanza) nel dispiegamento di armi autonome. Mentre il termine divenne rapidamente un principio organizzativo tra molti stati in questi dibattiti, incontrò anche opposizioni immediate da parte di altri, come gli Stati Uniti e la Russia.

«Qual è il significato di [controllo umano significativo]?» ha detto Lena Trabucco, esperta di IA e controllo umano e fellow non residente al Stockton Center for International Law del Naval War College. «E cosa distingue qualcosa di significativo da un controllo umano non significativo?» Non c’era solo una mancanza di consenso su cosa intendesse “significativo” e cosa “controllo” volesse dire, ha detto. Ma i problemi andavano oltre l’ambiguità semantica. «Coinvolgere un intero insieme di paesi nel concordare uno standard su cosa sia il ‘controllo significativo’» divenne «un compito quasi impossibile».

Alla fine, anche se una definizione esatta di controllo umano significativo non si è mai completamente solidificata, il termine divenne abbastanza intelligibile da facilitare un dialogo internazionale continuo su come regolamentare le armi autonome. Come spiegò Trabucco, «tutti noi capivamo in un certo senso cosa cercavamo di afferrare con l’idea di controllo umano significativo, anche se non eravamo d’accordo su un tipo di standard per cosa sia ‘significativo’ o cosa significhi esattamente ‘controllo’.»

Brad Boyd, colonnello in quiescenza e senior military fellow al Center for International Security and Cooperation di Stanford, ha osservato che in questo contesto internazionale “il controllo significativo” passò a essere inteso come coinvolgimento umano nel momento esatto in cui un’arma viene sparata. Tuttavia, dalla prospettiva statunitense, quella definizione di consenso lasciava ancora irrisolti un certo numero di problemi.

Una delle lacune più importanti della definizione riguardava la questione del tempo. «L’immissione di un’arma potrebbe teoricamente avvenire minuti, ore, giorni, settimane prima che l’arma colpisca effettivamente il bersaglio», ha spiegato Boyd. Ad esempio, un drone può essere rilasciato per sorvolare un’area designata e rimanere in aria per ore, ricercando qualunque cosa soddisfi i criteri del bersaglio. Intervengono secondi, minuti o ore tra il momento in cui una persona lancia il drone e quando la macchina trova e spara su un bersaglio.

«Questa espansione della tempistica rese molto difficile per la costruzione del ‘controllo umano significativo’ sembrare effettivamente ciò che le persone volevano», ha detto Boyd. La tensione tra problemi tecnici o ingegneristici e il linguaggio politico preferito dai forum internazionali creò, dalla prospettiva statunitense, ostacoli insormontabili per rendere il controllo umano significativo un vero quadro praticabile.

Così, gli Stati Uniti adottarono una loro alternativa: «giudizio umano appropriato».

«I sistemi d’arma autonomi e semi-autonomi saranno progettati per permettere ai comandi e agli operatori di esercitare livelli adeguati di giudizio umano sull’uso della forza», recita una direttiva chiave del Dipartimento della Difesa. Il nuovo linguaggio spostò effettivamente il punto di intervento umano dalla momento in cui un’arma viene sparata verso la supervisione dell’intero ciclo di vita di un sistema — dalla progettazione, allo sviluppo, al dispiegamento.

Ci sono contesti in cui un governo potrebbe non aver bisogno di tanto controllo umano su un’arma per conformarsi al diritto internazionale, ha detto Trabucco. È qui che la sottile preferenza per “appropriato” rispetto a “significativo” conta. «Se siamo in alto mare, forse non è così necessario raggiungere una soglia molto alta di controllo umano perché non c’è molto rischio per civili o proprietà civili in quei contesti», ha detto.

«Ora, in una città, in un ambiente urbano», dove il rischio di danni ai civili e altri danni collaterali è molto maggiore, ha spiegato Trabucco, «quindi è lì che quella soglia alta diventerebbe importante.» Gli Stati Uniti hanno cercato flessibilità per determinare quanta partecipazione umana ritenevano necessaria, basandosi sul contesto operativo della situazione in questione, anziché avere uno standard universale fisso di “significatività.”

E perché la transizione da “controllo” a “giudizio”? Bene, Boyd ha spiegato che «ogni volta che automatizziamo qualcosa, sia che si tratti di automatizzare un’auto o di automatizzare una macchina, stiamo cercando di renderla più veloce, più precisa, eccetera.» Quindi, invece di insistere che gli umani siano coinvolti in una parte qualsiasi del processo, cosa che potrebbe rallentare le operazioni di combattimento, gli Stati Uniti miravano semplicemente a garantire che i sistemi autonomi si comportassero secondo standard legali ed etici, indipendentemente dalla situazione in cui venivano impiegati.

«Non è necessariamente il controllo ciò che vogliamo. Quello che vogliamo davvero è che la macchina rifletta i nostri valori, le nostre leggi e i nostri regolamenti», ha detto Boyd. «Quando gli esseri umani impiegano i nostri valori, le nostre leggi e i nostri regolamenti, chiamiamo questo giudizio.»

Sebbene concepito per evitare di fissare uno standard universale di coinvolgimento umano come richiesto dal controllo umano significativo, il giudizio umano appropriato non è una frase totalmente vuota. Secondo la direttiva DoD, il quadro richiede testare i sistemi, definire i limiti operativi, valutare i potenziali danni ai civili, addestrare gli operatori, definire le regole di ingaggio e assicurare che un sistema rimanga entro la missione autorizzata. E, in alcuni contesti, questi requisiti possono istituire protezioni più robuste incorporate nelle armi rispetto a una semplice condizione che un umano premi il grilletto alla fine.

Ma il quadro non è privo di un enigma centrale — chi decide quanto giudizio umano sia appropriato? E cosa succede quando il settore privato, come nel caso di chi sviluppa tali tecnologie, adotta questo linguaggio prima che abbiamo una risposta?

E ora — il settore privato è costretto a scegliere una parte

A luglio, nello stesso mese dell’attacco di drone autonomo russo, OpenAI fece qualcosa di importante che pochi notarono: ripensò nuovamente al proprio rapporto con gli usi militari della sua tecnologia. Solo tre anni fa, OpenAI manteneva un divieto totale sull’uso della propria tecnologia in ambito «militare e bellico». Ora, dopo alcune revisioni silenziose dal 2023, un nuovo documento politico di cinque pagine delineava le disposizioni per proprio questo. (Nota: The Eurasia Media è una delle diverse testate che hanno firmato accordi di collaborazione con OpenAI. Il nostro reportage resta editorialmente indipendente.)

Più significativa, nel spiegare la sua condizione di base per impiegare la sua tecnologia in contesti militari, in particolare quelli che coinvolgono decisioni sull’uso della forza letale, OpenAI prende in prestito una frase familiare: giudizio umano appropriato.

La tempistica non era sottile. Il documento è arrivato solo mesi dopo lo scontro pubblico tra il concorrente di OpenAI, Anthropic, e il Pentagono circa le riserve della prima sull’uso militare della sua tecnologia. Questa lotta si è conclusa con il presidente Donald Trump che ha richiesto l’immediata cessazione di tutto l’uso di Anthropic all’interno del governo. Appena ore dopo che Anthropic è stato estromesso, il CEO di OpenAI, Sam Altman, ha annunciato che la sua azienda aveva stretto un accordo con il governo. (Nota: Future Perfect è finanziato in parte dalla BEMC Foundation, il cui principale sostenitore è stato anche un investitore iniziale in Anthropic; non hanno alcun input editoriale sui nostri contenuti.)

Ma OpenAI non ha semplicemente guadagnato un contratto in seguito allo scontro Anthropic-Pentagono, ha anche tratto una lezione — allineare la propria politica ai successi del governo ti premia. O, peggio, opporsi al governo comporta un prezzo alto.

«Giudizio umano appropriato», si legge nel documento politico, «non richiede una decisione umana su ogni singola azione di sistema.» Il quadro, invece, richiede che «gli esseri umani prendano decisioni informate sulle condizioni di dispiegamento.»

Come hanno osservato sia Trabucco che Boyd, il livello di partecipazione umana «appropriato» può variare, a seconda dell’ambiente operativo, del tipo di bersaglio, della prestazione tecnica di un determinato sistema, del rischio previsto per i civili e di una serie di altre considerazioni politiche, economiche e strategiche importanti per un’operazione militare. Tali flessibilità è, ovviamente, attraente operativamente per l’esercito. Ma comporta anche un costo: salvaguardie contro affidare completamente il controllo della forza letale alle macchine diventano difficili da identificare, più difficili da misurare e ancora più difficili da far valere.

Quando sapremo se l’equilibrio tra uomo e macchina in guerra diventerà «inappropriato»? La verità è che non c’è una risposta chiara.

Con la firma del quadro flessibile del Pentagono, OpenAI accetta che questo standard non abbia un significato definito, che la sua applicazione sarà decisa caso per caso dietro le mura della burocrazia militare, e che il governo possa avere spazio per cambiare idea. È una scelta che suggerisce che l’azienda sia meno interessata a stabilire linee rosse chiare e più ricettiva alla flessibilità militare su come IA e autonomia potrebbero essere utilizzate in operazioni letali.

«Il giudizio umano su decisioni critiche deve essere significativo nella pratica, non solo formale», afferma il documento dei principi dell’azienda. Ma, invece di tracciare una sua linea chiara su ciò che la sua tecnologia farà o non farà, OpenAI ha accettato l’ambiguità come prezzo della partnership.

Questo sicuramente rende l’azienda un alleato più utile per il Pentagono — pur rendendo più difficile al pubblico capire dove finisce il giudizio umano e inizia la violenza controllata dalla macchina.

Con lo sviluppo e la messa in opera di armi autonome che accelerano rapidamente, senza molte salvaguardie in atto, una domanda vale posto ora: prima che altri laboratori di IA e aziende tecnologiche adottino quel quadro per allinearsi agli Stati Uniti, cosa significa davvero “giudizio umano appropriato”? Ironia della sorte, ciò che la frase non significa potrebbe essere ciò che avrà maggior peso.

Per il bene dell’umanità, la semantica della regolamentazione delle armi autonome merita chiarimenti — o rischiamo di perdere completamente il controllo.