Lo notai per la prima volta quando, alcuni mesi fa, aprii un’email di Ian, il mio agente letterario. Prima che avessi avuto tempo di leggere qualcosa di ciò che aveva scritto, Gmail stava consigliando una risposta completa, articolata, generata dall’IA, ventriloquizzando idee per un libro e persino i miei sentimenti riguardo al cambiamento di lavoro che avevo di recente compiuto. Aveva analizzato la mia casella di posta per capire perché Ian mi stesse scrivendo e aveva assorbito frammenti del mio stile, persino chiudendo con la minuscola “m” che uso con le persone con cui ho una familiarità disinvolta.
Per circa un decennio, Google aveva suggerito risposte rapide molto generiche, a volte monosillabe, come «Okay», «Grazie!» o «Qualche pensiero?». Le ho usate per inviare rapidi riconoscimenti a email che altrimenti avrei dimenticato. Ma negli ultimi due anni Gmail ha iniziato a offrire bozze completamente formate che pretendono di impersonare le mie reazioni individuali alle domande, alle idee e alle emozioni dei miei interlocutori.
Questo mi è sembrato un cambiamento marcante. Riflettevo, con una certa tristezza, sull’idea di inviare una di queste risposte a qualcuno che mi è caro — quanto sarebbe disumanizzante sia per me sia per Ian costringerlo a leggere una soggettività contraffatta che pretende di essere la mia.
Potresti dire che non è una gran cosa; magari ti restituisce tempo per un lavoro più profondo o per parti della tua vita più significative (non te ne invidio affatto — anche a me l’IA risparmia tempo!). Siamo tutti sommersi da troppa email, molta delle quali inutile o priva di un grande significato. Non è forse esattamente quel tipo di noia quotidiana che dovremmo accogliere felici, affinché l’IA ci liberi da essa?
Ma penso che questa corrispondenza personale generata dalla macchina, destinata a espandersi probabilmente anche in altre forme di comunicazione, mi abbia inquietato perché c’è qualcosa di più profondo in gioco. Negli ultimi anni sono state scritte molte cose sulle capacità di scrittura generate dall’IA e sulle loro conseguenze sociali — come potrebbe rendere inabile a milioni di lavoratori, esternalizzare il nostro pensiero, confondere i ragazzi che crescono nell’era dell’IA sul distinguere tra amici reali e amici sintetici, e così via. Sappiamo già che il linguaggio dell’IA è spaventosamente bravo a suonare come se fosse prodotto da una coscienza condivisa. Ma l’inquietante specifico del completamento email elaborato è che si allena su e simula la tua coscienza. E mentre lo fa, ti dà anche una ragione in meno per essere effettivamente consapevole.
La scrittura AI e la «resa cognitiva»
Come molti lavoratori della conoscenza che ricavano il proprio reddito e identità dalle capacità cognitive ora in parte replicate nel silicio, ho una relazione complicata e ambivalente con l’IA generativa. Oggi ne dipendo per ricercare praticamente ogni storia su cui lavoro, un uso per il quale è ovviamente molto utile (nonostante chi sostenga che non possa mai essere utile in alcun modo).
Tuttavia sono profondamente scettico sull’uso per la scrittura, perché, come molti scrittori più intelligenti di me hanno già notato, scrivere è intrinsecamente legato al pensare, e un cortocircuito può ridurre la nostra capacità di pensiero profondo. L’attrito della scrittura non è peso morto, ma fa parte di come si decide cosa si intende dire e si dà coerenza alle idee. Per questa ragione, la mia ex collega di Eurasia, la brillante Kelsey Piper, che in genere è positiva sul potenziale dell’IA di renderci più produttivi e migliorare la vita umana, ha detto in un episodio recente di un podcast: «Non lo utilizzerei mai per scrivere.»
In un recente studio, due studiosi dell’Università della Pennsylvania hanno descritto l’esternalizzazione totale di compiti cognitivamente complessi all’IA come una «resa cognitiva». «Un’ abdication della valutazione critica», scrivono, «dove l’utente cede il controllo cognitivo e adotta il giudizio dell’IA come proprio.» Questo è uno dei motivi per cui è sembrato particolarmente inappropriato far sì che l’IA generatesse pensieri per me in risposta a qualcuno con cui sto facendo brainstorming su un libro, probabilmente una delle cose più impegnative mentalmente che farò. L’email, per quanto possa essere fastidiosa, è anche relazionale. E lasciare che una macchina generi la tua parte dell’interazione diminuisce l’autenticità della tua relazione con un’altra persona.
A volte le bozze dell’IA, ovviamente, sono palesemente errate. Un’email suggerita dall’IA potrebbe, per esempio, affermare che hai letto un libro che non hai letto, rendendo forse più probabile che tu aderisca all’affermazione falsa. Ma ciò che mi inquieta di più non è la semplice allucinazione, è quando l’IA ha ragione, o abbastanza giusta. L’IA della mia email attinge a tutto ciò che ho scritto in passato, quindi spesso è in grado di fare una congettura ragionevole su ciò che vorrei dire. Il sistema non fallisce completamente nel riprodurre la mia mente, ma sta effettivamente producendo un sostituto vicino a plausibile.
Sembra l’inizio di ciò che la Silicon Valley ha profetizzato da decenni come una fusione imminente (a volte chiamata la «singolarità») tra menti umane e macchine. Un tempo consideravo questa idea totalmente improbabile, ma non ero stato abbastanza aperto di mente. Potrebbe rivelarsi incredibilmente facile per un’IA avanzata addestrarsi su un campione dei tuoi pensieri passati e scrivere quelli futuri per te.
Dopo tutto, sembra improbabile che ci si abitui semplicemente all’idea che tutta la comunicazione scritta che incontriamo e produciamo ogni giorno possa essere generata dall’IA. Per quanto vulnerabili possiamo essere alla resa cognitiva, gli esseri umani hanno anche un bisogno profondo di vivere la lingua come proveniente da un’altra mente consapevole — di sentirsi visti e riconosciuti, e di riaffermare la propria distintività in risposta.
E comunque, Gmail non è ancora così bravo a imitare la mia voce cosciente. Non scriverei mai: «Ci sono molte cose interessanti in arrivo su Eurasia!» (Il che non significa certo che non ci siano cose interessanti in corso su Eurasia.) Questo, per ora, mi lascia il piacere di capire cosa voglio dire.
