L’esercito vuole un’Intelligenza Artificiale che raramente dica di no

Chi ha il diritto di dire no all’esercito?

Questa domanda è diventata ancora più cruciale dopo che il Pentagono ha spinto le aziende di IA ad allentare i limiti su come la loro tecnologia può essere usata in guerra — incluso quanto controllo umano deve rimanere sulle armi autonome. Quando Anthropic disse di no, perse un importante appalto governativo. OpenAI è intervenuta, abbracciando invece lo standard più flessibile del Pentagono. Ora, grazie a una nuova inchiesta di The Intercept, stiamo ottenendo una visione più chiara di cosa comportassero effettivamente quelle trattative.

L’accordo tra OpenAI e il Pentagono includeva una formulazione specifica sul tipo di modelli IA che il DOD avrebbe ricevuto: «Modelli OpenAI progettati per casi d’uso di sicurezza nazionale e con tassi di rifiuto minimi.» Questa espressione — «tassi di rifiuto minimi» — significa che il Pentagono sta cercando modelli che raramente, se mai, dicono di no. (Secondo The Intercept, un avvocato della Department of Justice che rappresentava il Pentagono ha confermato questa formulazione, per poi ritrattare solo poche ore dopo.)

A prima vista, questa disposizione potrebbe sembrare ragionevole. L’esercito è un’istituzione fortemente gerarchica. Quando un superiore dà un ordine, lo si esegue. I leader hanno in genere più saggezza ed esperienza sul campo rispetto ai loro subordinati, quindi i ranghi inferiori possono presumere che i loro comandanti sappiano cosa stanno facendo e seguire. Inoltre, negli ambienti ad alta tensione e con tempi stretti di molte operazioni militari, c’è poco spazio per discussioni, spiegazioni o proposte alternative.

Quindi, se i soldati non possono rifiutare un ordine, perché dovrebbe permetterselo una macchina? Chi è un robot per dire no al proprio comandante?

C’è solo un problema. I soldati possono rifiutare un ordine — quando l’ordine è illegale. In effetti, legalmente sono tenuti a farlo. Ma introducendo tecnologie con una capacità limitata di mettere in discussione i comandi, l’esercito potrebbe rendere più difficile fermare crimini di guerra prima che vengano commessi.

Gli esseri umani hanno il dovere di disobbedire

Come delineato dalla legge statunitense interna, dal diritto militare e dal diritto internazionale, i soldati sono obbligati solo a seguire ordini leciti e hanno il dovere di rifiutare ordini illegittimi.

Il Manuale della Legge della Guerra del Dipartimento della Difesa non lascia alcun ambiguità: «Ogni membro delle forze armate ha il dovere di: (1) conformarsi alla legge della guerra in buona fede; e (2) rifiutare di conformarsi a ordini chiaramente illegali volti a violare la legge della guerra.» Obbedire a un ordine illegale — come una direttiva che viola la Costituzione, le leggi statunitensi, il diritto internazionale, o che ordina di commettere un crimine — può esporre un membro delle forze armate, nonché il suo comandante, a responsabilità penale.

Questo «dovere di disobbedire» ha radici nel diritto comune britannico e americano, ma ha ottenuto riconoscimento internazionale dopo i Processi di Norimberga contro i soldati nazisti dopo la Seconda Guerra Mondiale.

In quei processi, molti soldati nazisti sostenevano di non essere responsabili dei crimini commessi durante l’Olocausto perché limitatamente seguivano gli ordini dei superiori. Rudolf Höss, comandante del più grande campo di concentramento nazista, Auschwitz, spiegò di fronte al tribunale: “In Germania si capiva che se qualcosa andava storto, allora l’uomo che dava gli ordini era responsabile. Quindi non pensavo che dovessi mai rispondere per esso.”

Queste difese furono respinte inequivocabilmente dal tribunale.

Il tribunale stabilì che l’obbedienza non è priva di limiti, soprattutto quando un atto bellico sarebbe palesemente illegale per il subordinato o per chiunque possieda un “senso e comprensione ordinari.” Se “stavo solo seguendo gli ordini” fosse una difesa assoluta, chiunque fosse coinvolto in un crimine sfuggirebbe all’assunzione di responsabilità, fatta eccezione per il singolo ufficiale di grado più alto. Invece, la corte determinò che la responsabilità morale e legale individuale supera la catena di comando nazionale o militare per atti illegali.

Ma, quando si tratta di sistemi IA agentici o di armi assistite dall’IA, sempre più usate al posto dei soldati umani, vale la stessa logica? E, forse più importante, dovrebbero?

Quando si usa un chatbot IA, non rejectiona semplicemente le query con cui non si è d’accordo. Non dice no a richieste che non gli piacciono. Invece segue un insieme di protocolli stabiliti, proprio come un soldato dovrebbe attenersi al diritto di guerra: rifiuta richieste che violano i termini di servizio.

Le forze armate usano l’IA per applicazioni molto più decisive rispetto a chiunque usi ChatGPT per, ad esempio, costruire un itinerario di viaggio. Allora, che tipo di mondo si crea con la richiesta del Pentagono di IA che “rifiuta minimamente” le sue direttive, molte delle quali possono avere implicazioni etiche, morali o legali gravi?

Rebecca Crootof, esperta di diritto tecnologico e docente presso la University of Richmond School of Law, ha detto a Eurasia che sebbene la formulazione possa essere letta facilmente come un aumento della probabilità di conformarsi ad ordini illegali, o perlomeno una riduzione dell’attrito intorno ad essi, «il rifiuto minimo non significa affatto rifiuto.»

«Vorrei dire che non significa sicuramente che si rispetteranno ordini illegali,» ha detto Crootof, «ma riconoscere che identificare e valutare cosa costituisce un ordine illegale in quel momento può essere incredibilmente difficile.»

Anche per i soldati umani, disobbedire a ordini illegali non è né semplice né facile. Al contrario, non accade nemmeno così spesso. Infatti, alcuni studiosi di diritto hanno sostenuto che dare direttive illegali di per sé è un atto di abuso nei confronti dei subordinati, che non sono adeguatamente addestrati alle sfumature legali, sono condizionati a obbedire e affrontano la prospettiva di essere perseguiti se fanno la scelta sbagliata.

Eppure, il semplice fatto che i soldati possono disobbedire rappresenta un vincolo importante per i comandanti che potrebbero permettere che le condizioni di battaglia, o ordini provenienti dai loro superiori, erodino la loro etica e l’impegno verso la legge.

Coloro che sono ottimisti sull’IA sostengono spesso che le macchine potrebbero essere migliori nell’interpretare e applicare la legge rispetto ai soldati umani. Le macchine possono essere addestrate sulla stessa legge — attingendo a un repository di casi legali, decisioni e dati di battaglia — il che potrebbe renderle più “informate” di un soldato medio. E le macchine non affrontano le stesse pressioni dei soldati sotto processo per errori, poiché non possono essere ritenute responsabili; un problema da analizzare in seguito. Questo, a sua volta, potrebbe facilitarne il rifiuto degli ordini illegali nelle condizioni opportune.

Quindi, la risposta è così semplice come lasciare alle macchine la decisione? Non proprio. “Questo è stato un desiderio e una spinta da parte dei technologi da sempre,” ha detto Crootof. “E se mettessimo davvero la legge nel sistema e lo facessimo agire solo in modo lecito? Non risolverebbe tutto?”

Interpretare e applicare la legge, però, non è una semplice dicotomia legale-lecita. “È molto dipendente dal contesto,” mi ha detto Crootof, “e onestamente, è il tipo di cosa che gli esseri umani in genere trovano difficile e i sistemi di decisione basati sull’IA sono ancora peggiori.” Spesso determinare la legalità di un atto si riduce a sfumature sottili che non si possono programmare: si è autorizzati a mirare a un combattente; non si è autorizzati a mirare a un combattente ferito o che si è arreso. Non si è autorizzati a mirare a un civile; si è autorizzati a mirare a un civile direttamente partecipante alle ostilità. La differenza tra un bersaglio legale e uno illegale può dipendere dal linguaggio del corpo, dalle scelte di abbigliamento o persino dall’intuito bellico.

Come ha spiegato Crootof, «Queste non sono le tipologie di analisi contestuali per le quali l’IA è brava.»

Qual è quindi la soluzione?

Dove la capacità dei soldati umani di disobbedire costituirebbe tradizionalmente un controllo importante sul potere dei comandanti militari, sebbene imperfetto, sostituire i soldati con macchine che non dispongono di tali salvaguardie rimuove l’ultimo strato di giudizio sull’uso della forza. Eppure, anche le stesse macchine non sono sempre in grado di prendere le decisioni necessarie per interpretare la legge, quindi potrebbe non essere opportuno lasciare all’IA la parola finale.

Quindi qual è la soluzione? Dato il modo in cui la tecnologia IA è già stata ampiamente integrata nelle forze armate, Crootof mi ha detto che potrebbe trovarsi a metà strada.

Piuttosto che programmare l’IA per rifiutare comandi che interpreta come illegali, ha detto Crootof, “potrebbe essere progettata per segnalare quelle zone indefinite, quelle analisi in zona grigia, per la revisione umana o per una autorità superiore.” Quando un sistema rileva segnali contrastanti — ad esempio un soldato nemico che sembra arrendersi, per esempio — potrebbe incitare il comandante a confermare la scelta o ricordargli la legge applicabile.

In questo modo, si potrebbe preservare un controllo sull’autorità operativa dei comandanti sul campo senza cedere completamente il giudizio sull’uso della forza alla macchina.

Non sappiamo ancora se OpenAI abbia dotato i propri modelli di «rifiuto minimo» di tali capacità. Ma man mano che queste tecnologie diventano sempre più centrali nel processo decisionale militare, il pubblico merita risposte prima possibile.