Anthropic dovrebbe ritirarsi dalla corsa all’IA

Stiamo vivendo un “Ottobre Nero” alimentato dall’IA e le cose stanno cambiando rapidamente. Gli hacker usano l’IA per violare innumerevoli aziende. Strumenti di IA hanno scoperto vulnerabilità di sicurezza che potrebbero rendere vulnerabile il 70 percento di tutti i siti web. I governi si affrettano a mettere in sicurezza i loro siti. Anche le banche. E poiché gli attacchi informatici possono ferire le catene di approvvigionamento, alcuni osservatori di IA di lunga data stanno facendo una preparazione completa, mettendo in deposito cibo, contanti e altro ancora.

Al centro di questa storia c’è Anthropic, una delle principali aziende di IA al mondo, fondata esplicitamente sulla promessa di essere una società “buona” in un mondo di giganti tecnologici discutibili.

Anthropic afferma che tutti gli ultimi sviluppi sono molto seri. Il suo responsabile della sicurezza ha scritto la settimana scorsa che le cose “stanno per peggiorare molto prima che migliorino.” Due settimane fa l’azienda avvertì che i modelli di IA potrebbero presto auto-replicarsi sui dispositivi connessi a Internet presenti nelle vostre case, come frigoriferi intelligenti e aspirapolvere robot. E il suo cofondatore ora dice che “la singolarità” — quando i sistemi IA accelerano i progressi tecnologici in un modo difficile da comprendere per l’essere umano — “è arrivata.”

Potreste pensare, data la sua visione dei rischi, che Anthropic stia frenando i suoi progressi all’avanguardia nell’IA. Proprio il contrario. Anthropic ha depositato una richiesta per un’IPO da blockbuster lunedì, puntando a una valutazione di 2 trilioni di dollari, anche se avverte nell’IPO che l’IA potrebbe “porre rischi catastrofici o esistenziali per l’umanità.” Ogni giorno corre verso l’auto-miglioramento ricorsivo (RSI), in cui i modelli di IA sono abbastanza intelligenti da costruire da soli i modelli IA successivi, ancora più intelligenti.

Come giustifica tutto questo Anthropic?

Come ha ricordato lo scorso settimana il suo CEO, Dario Amodei, ha costruito l’azienda su una grande scommessa: che invece di guidare una corsa al ribasso in cui le aziende tagliano la sicurezza nel loro sprint per battere i concorrenti sul mercato, Anthropic potrebbe effettivamente catalizzare una “corsa verso l’alto.”

L’idea è che se Anthropic dimostrerà di poter costruire IA potenti e sicure, il mercato si aspetterà entrambe le cose — quindi anche altre aziende IA si sentiranno obbligate a competere sulla sicurezza. Potrebbe suonare bene in teoria, ma significa che Anthropic deve continuare a costruire IA sempre più potenti.

“Le forze che guidano la corsa verso l’alto sono enormemente più efficaci se l’azienda che le pratica è in prima linea,” scrisse Amodei. “E guardando a questa strategia nel suo insieme, sono orgoglioso del nostro track record e la sostengo.”

In altre parole, Amodei sta rimanendo fedele alla sua scommessa.

Ma Amodei sta scommettando sul futuro dell’umanità, come raccontano lui e la sua azienda. Se l’IA va male, potrebbe portare a un progressivo indebolimento della nostra capacità di controllo, a una salda concentrazione di potere, o persino all’estinzione completa.

Quindi c’è una domanda molto basilare che il pubblico merita di ricevere una risposta convincente proprio in questo momento di svolta: quali sono le prove che la strategia dichiarata da Anthropic — competere ai confini per guidare una “corsar verso l’alto” — sia effettivamente riuscita nel complesso?

dall’esterno, sembra che Anthropic abbia fatto di più, complessivamente, per spingere una corsa verso il basso. (Divulgazione: Future Perfect è finanziato in parte dalla BEMC Foundation, la cui principale finanziatrice è stata anche una delle prime investitrici in Anthropic; non hanno alcun input editoriale nei nostri contenuti.)

In realtà, parte del problema potrebbe essere che Anthropic continua a trattare questa questione come una classica corsa agli armamenti. In particolare, l’azienda sembra modellarla come un dilemma del prigioniero: se Anthropic smettesse di costruire IA sempre più potenti, un altro giocatore — che sia la Cina, OpenAI o un’altra azienda — la costruirebbe comunque. In questo tipo di dilemma, se l’altro giocatore intende defettare, è razionale per te defettare, anche se nessuno vuole davvero quell’esito.

Ma e se questa cornice non cogliesse il punto?

La teoria dei giochi può far sembrare sofisticata una scommessa enorme, rendendo però l’alternativa ovvia — semplicemente non costruire una macchina del doom —ora apparire ingenua. Eppure, il fatto che Anthropic e altri stiano ora correndo verso RSI rende molto più probabile che potremmo perdere il controllo sull’IA e iniziare a vedere enormi danni al nostro mondo. Quando il costo del difettare dalla sicurezza è creare un rischio grave di danno catastrofico — o di estinzione di tutta l’umanità, inclusi voi — quella mossa è ancora “razionale”?

Invece di dirti che puoi galaxy-brainare questa cosa con una teoria di gioco sufficientemente sofisticata, forse è meglio pensare a qualcosa di molto più semplice: la roulette russa.

Sempre più voci leader nel campo dell’IA stanno cominciando a riconoscerlo.

“Dovremmo fermare lo sviluppo dell’IA ora, iniziando unilateralmente con Anthropic e/o OpenAI a fermarsi — e poi ampliare come secondo passo a più aziende IA e negoziati con la Cina,” ha detto Geoffrey Irving, che fino a poco tempo fa era capo scienziato all’UK AI Security Institute, a me. “Le pause unilaterali non possono durare a lungo, ma sono il primo passo giusto: quando stai facendo qualcosa molto pericoloso, l’azione corretta è fermarsi, anche se anche altri stanno facendo cose pericolose.”

Anthropic non ha risposto a una richiesta di commento.

Il caso che Anthropic abbia fatto più male che bene

Chiaramente: la domanda non è se Anthropic abbia fatto qualcosa di buono sul fronte della sicurezza. Lo ha fatto. Resistere al Pentagono, trattenere temporaneamente l’accesso ai modelli all’avanguardia e sostenere pubblicamente politiche di IA più sicure sono alcuni esempi, tra gli altri.

Ma la domanda reale è se la strategia della “corsa verso l’alto” dell’azienda stia funzionando nel complesso — se sia negativa o positiva per la sicurezza.

Nathan Calvin, chief strategy officer dell’organizzazione per la sicurezza dell’IA Encode, recentemente ha scatenato una tempesta tra gli osservatori tech, scrivendo su X: “Quando guardo molte azioni note di Anthropic nell’ultimo anno, quella evidenza sembra più coerente con l’idea che Anthropic stia principalmente cercando di vincere la corsa verso la superintelligenza, e che altre considerazioni (inclusa la sicurezza) siano fondamentalmente secondarie.” Ecco la sua lista di ciò che Anthropic ha fatto:

E tutto questo è avvenuto solo nell’ultimo anno. Se cambiamo la prospettiva indietro nel tempo, vediamo Anthropic resistere a una legge storica per regolamentare l’IA. Se riscriviamo ancora più indietro, vediamo indicazioni che la strategia centrale di Anthropic potrebbe essere stata fallace fin dall’inizio. Secondo Reuters, alla fine del 2022, il CEO di OpenAI Sam Altman aveva sentito voci che Anthropic stava costruendo un chatbot alimentato dall’IA. Così ordinò ai suoi dipendenti di lanciare prima un chatbot OpenAI. Quel chatbot era ChatGPT. Sappiamo tutti come è andata.

La rivalità tra OpenAI e Anthropic non solo sembra aver accelerato l’arrivo dell’IA generativa, ma ha anche contribuito a posticipare le date di rilascio fino ad oggi. Le due aziende sono note per rilasciare modelli nuovi o più economici a poche ore di distanza l’uno dall’altro, ognuna desiderosa di proteggere la propria quota di mercato.

Anche se pensate che il comportamento di Anthropic nel 2022 fosse giustificato perché dimostrare pubblicamente i rischi dell’IA evidenzia anche la necessità di regolamentarla — una tesi comune all’interno dell’azienda e nel discorso sull’IA a livello globale — dovete chiedervi: è ancora giustificabile ora, quando l’IA ha raggiunto questo livello di potenza e sofisticazione?

Anthropic ha indicato che si sta avvicinando sempre più a RSI. A gennaio, lo stesso Amodei scrisse: “Sono preoccupato che i LLM stiano avvicinando (o potrebbero aver già raggiunto) la conoscenza necessaria per creare e rilasciare [armi biologiche] end-to-end, e che il loro potenziale di distruzione sia molto alto. Alcuni agenti biologici potrebbero causare milioni di morti.” E scrisse a settembre: “Dato il ritmo accelerato di sviluppo delle capacità IA, temo che tra 6-12 mesi uno storm potrebbe essere in grado di prendere il controllo dell’intero internet con una botnet persistente.”

Ma a questo punto, Amodei e i suoi collaboratori sono forse i principali acceleratori del ritmo di sviluppo delle capacità IA.

“Anthropic sembra fare l’intero RSI più di chiunque altro, a parte forse OpenAI,” mi ha detto Calvin. “E credo che sembri incredibile dato i loro tempi pubblici sul rischio.”

“Penso che le persone di Anthropic dovrebbero riflettere di più sul fatto che sembra che l’esito modale sia che l’impatto maggiore che Anthropic avrà sarà accelerare drasticamente la corsa verso RSI,” continuò. “Secondo l’attuale traiettoria, tutto il resto che avranno fatto e pensato e le loro idee saranno una semplice margine rispetto al loro contributo lì.”

Anthropic dovrebbe essere disposta a invitare la critica su questo punto — e, se crede davvero di rendere il campo più sicuro di quanto non sarebbe altrimenti, mostrarci le ricevute. Come? Potrebbe presentare al Congresso una legge che migliori effettivamente la sicurezza, invece di indebolirla. Potrebbe attenersi alla sua precedente Politica di Scalatura Responsabile e convincere altre aziende a fare lo stesso, invece di abbandonare i propri impegni. Potrebbe influenzare altri laboratori a non costruire RSI, invece di condurre la carica.

In assenza di tali prove, la logica della “corsa verso l’alto” non tiene acqua.

E se Anthropic desse proprio… una stoppata?

Amodei ha iniziato a sostenere l’“andare al passo avanti della frontiera” nello sviluppo dell’IA. “Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli IA,” ha scritto a settembre.

La richiesta è che piano di Amodei per rallentare dipenda dal fatto che altri accettino di rallentare a loro volta — altri laboratori IA, per cominciare, e anche altri paesi. Ma sempre più esperti dicono ora che sarebbe meglio se una società di frontiera come Anthropic si fermasse unilateralmente.

“Sono contento che abbia proposto di rallentare, ma ora dobbiamo davvero farlo — e sembra che dica di non voler farlo unilateralmente,” ha detto Daniel Kokotajlo, ex ricercatore di OpenAI diventato un whistleblower di spicco, a me. “Non è molto utile, Dario! Dovresti guidare. Che cosa c’è tutto questo ‘correre verso l’alto’ e ‘guidare con l’esempio’ se stai solo aspettando?”

L’azione unilaterale volontaria da parte delle singole aziende non sostituisce ovviamente la regolamentazione federale e i trattati internazionali. Ma Irving sostiene che sia il primo passo giusto, perché se le aziende aspettano i governi per contenerle, potrebbe essere troppo tardi. I governi sono notoriamente lenti. Un’azienda singola può agire oggi.

C’è una obiezione costante qui: “Ma la Cina!”

Tuttavia, l’idea che siamo in una classica corsa agli armamenti con la Cina è sempre stata fuorviante.

Per cominciare, l’IA non è solo una cosa con una finalità, come la bomba atomica. È una tecnologia molto più generale, simile all’elettricità. Quindi ciò che importa non è semplicemente chi ottiene per primo, ma chi la usa in quali modi. Inoltre, se i danni dall’IA sono massicci, allora tali danni sono rilevanti anche per la controparte. I cinesi non vogliono vedere danni catastrofici a tutta la civiltà umana, nemmeno loro. Quindi non dovremmo escludere la possibilità di coordinazione.

La ex giornalista di Eurasia Kelsey Piper ha recentemente scritto riguardo a un colloquio presso Anthropic in cui un partecipante si oppose: un decennio fa, Facebook valutò di acquisire la tecnologia che in seguito avrebbe alimentato TikTok. Ma, affrontando pressioni per motivi di privacy e sicurezza, la società rifiutò. Quel passo non ci ha protetti dai mali di un mondo con TikTok — tutto quello che ha fatto è consegnare a la Cina un monopolio iniziale su quella tecnologia. Piper scrive:

È stato questo un successo di policy? Volevamo ripeterlo?

Eravamo costretti ad ammettere a malincuore che non sembrava un successo di policy. Non volevamo ripeterlo. La Cina potrebbe non essere una scusa per i laboratori statunitensi per fare cose spericolate, ma è una considerazione reale.

Il nostro passo successivo potrebbe essere tavolettA bilaterali con la Cina, quindi. Ma al punto in cui si convenga che i piani di Anthropic potrebbero dipendere da trattative bilaterali con la Cina, avete già ammesso la maggior parte dei passi della visione del mondo di Anthropic che dieci minuti fa sembravano follia: continuare a lavorare sull’IA per ora, cercare di negoziare un rallentamento, ma non abbandonare il lavoro al confine e tutti i vantaggi che ne derivano.

Ma TikTok non è una buona analogia per RSI. Il primo può essere una palude che corrode le nostre menti e amplifica l’odio etnico, ma i suoi pericoli non si confrontano con i pericoli di RSI. Il caso TikTok può effettivamente essere affrontato come un classico dilemma del prigioniero. Ma con RSI, lo svantaggio potenziale è così catastrofico che chi propone di salvare il mondo proprio costruendo la tecnologia che lo mette in pericolo sta prendendo un rischio pazzesco per conto di tutti gli altri. Al minimo, l’onere della prova dovrebbe Ricadere su di loro per dimostrare che la loro fiducia è giustificata.

Gli addetti IA spesso pensano che chi è al di fuori del loro settore non possa comprendere davvero le complessità tecniche, geopolitiche e morali che devono affrontare. Ma la morale di buon senso è tale per una ragione: segue intuizioni generalmente corrette (ad esempio, se non vuoi una macchina della rovina, forse non costruirla) e ci allena ad essere nient’affatto scettici di grandi puntate contro-intuitive.

Proprio perché il panorama dell’IA è un sistema complesso — ci sono molti attori (inclusi diversi gruppi IA e diversi governi), e le azioni di ciascuno possono scatenare azioni di altri in modi difficili da prevedere — credere di essere abbastanza intelligenti da intraprendere azioni fortemente contro-intuitive e finire per salvare il mondo come risultato è un’impresa estremamente rischiosa. Invece, forse è meglio fare la cosa giusta e semplice: fermarsi.

Per essere chiari, “fermare” non deve significare spacchettare tutto quello che è stato fatto nell’IA finora. I potenti sistemi IA che sono già là fuori non possono essere messi di nuovo in scatola. E potremmo avere bisogno di un’IA per difenderci da quella già presente.

“Non sto dicendo di spegnere tutti i vostri data center,” ha detto Calvin. “Ma sto dicendo che, in particolare, spingere la frontiera sul RSI e far sì che siate l’azienda che farà lo sviluppo pienamente autonomo rispetto a chiunque altro al mondo, ha davvero senso?”

Sempre più insider dell’IA e anche il pubblico stanno gridando no.

Alcuni insider, forse consapevoli che l’umanità è perfettamente in grado di fermare lo sviluppo tecnologico eccessivamente pericoloso (l’abbiamo già fatto), stanno prendendo posizione e lasciando i loro lavori nelle aziende IA. In incontri pubblici, come la recente Pro-Human Assembly a Washington, DC, e la People’s AI Assembly a New York, la gente sta aumentando la pressione per ripensare la corsa all’IA. Gli stati stanno redigendo la propria legislazione per contenere la tecnologia. E un singolo post su X di Calvin ha ricevuto così tanta attenzione che lo stesso Amodei si è sentito obbligato a rispondere. Le aziende IA stanno iniziando a prestare attenzione.

L’attenzione potrebbe non essere tutto ciò di cui hai bisogno, ma è un inizio.