Come capire se un libro è stato scritto dall’Intelligenza Artificiale?

Qualunque sia la tua opinione sulla scrittura generata dall’IA, ci sono alcuni segnali rivelatori. Secondo la scrittrice Imogen West-Knights, «ci sono cose come parallelismi negativi… o un uso eccessivo di metafore e similitudini, soprattutto quelli che non hanno senso o che arrivano molto rapidamente, uno dopo l’altro. Ogni sostantivo accompagnato da un aggettivo, certi tipi di blocchi sintattici ripetitivi che compaiono».

Quindi, naturalmente, quando un autore usa l’IA per scrivere il proprio libro, l’industria editoriale può individuarlo facilmente, vero? A quanto pare, non necessariamente. I modelli di IA sono costruiti usando testi scritti da esseri umani, sia i buoni sia i difetti, motivo per cui può essere difficile stabilire se qualcosa sia stato scritto da un chatbot o da una persona che ama una metafora pessima. Il problema è particolarmente acuto con frammenti di testo più brevi, dove c’è meno spazio affinché emergano i modelli rivelatori e la mancanza di profondità tipica dell’IA.

Per scoprire quanto bene l’IA sia arrivata a imitare la scrittura umana, la scrittrice e giornalista Vauhini Vara decise di condurre un esperimento tra le persone che la conoscono meglio come autrice. Lei ritiene che ci sia un’idea sbagliata tra scrittori e lettori secondo cui “esiste un certo modo in cui l’IA genera il linguaggio ed è molto diverso dal modo in cui gli scrittori lo fanno.” Allora i suoi amici sarebbero riusciti a distinguere tra il suo lavoro e una imitazione generata dall’IA del suo lavoro? Lo ha confidato al co-conduttore di Today Explained, Noel King, riguardo a ciò che è successo dopo.

Di seguito un estratto della loro conversazione, rifinito per lunghezza e chiarezza. C’è molto di più nel podcast completo, quindi ascolta Today, Explained ovunque trovi i podcast, inclusi Apple Podcasts, Pandora e Spotify.

Niente ci piace di più a Today, Explained che una persona che si conduce un esperimento su se stessa! Vauhini Vara, scrittrice, giornalista, autrice di Searches, ora in versione tascabile, racconta tutto.

C’è un ricercatore di nome Tuhin Chakrabarty di cui ho già parlato in passato, e aveva già condotto questo esperimento. Lui e i colleghi hanno praticamente addestrato modelli di IA sul lavoro di scrittori affermati e di talento.

Il risultato è che ha sostanzialmente fatto generare al modello di IA un linguaggio che somigliava molto al linguaggio di quegli autori. E poi ha fatto leggere quelle passaggi generati dall’IA a lettori che erano studenti di scrittura di livello avanzato e ha chiesto loro di leggere anche imitazioni prodotte da altri studenti e di dire quale preferissero. E tendevano a preferire le opere generate dall’IA a quelle create da esseri umani reali.

Io gli ho chiesto di fare la stessa cosa con il mio lavoro, ma con una variante. L’ho fatto addestrare su tre dei miei libri precedenti, su pezzi di giornalismo che ho scritto. E poi gli ho chiesto di far generare all’IA passaggi che suonassero come qualcosa di un romanzo in uscita che non ho ancora pubblicato né condiviso con nessuno. Li ho messi accanto a passaggi che avevo scritto. Li ho inviati a persone che conoscono davvero bene il mio lavoro. Sto parlando della mia migliore amica dai tempi della scuola, amici scrittori che conosco dai 19–20 anni. E ho chiesto se riuscivano a distinguere le due cose, e nessuno di loro è riuscito.

Quindi le persone che ti conoscono meglio al mondo non ti conoscono così bene, a quanto pare. Oppure l’IA è eccezionalmente brava in quello che fa. Fammi qualche esempio di cosa è successo qui. Puoi leggermi qualcosa che hai scritto e poi qualcosa che ha scritto l’IA, e vediamo se riesco a distinguere delle differenze?

È buffo, non ricordo più quali siano i miei e quali quelli dell’IA!

Gaia ha detto, per lei sembrava che avessimo seguito traiettorie simili. Avevamo entrambi passato molti anni a creare qualcosa in cui credevamo profondamente, con il mio giornalismo. Lei con la sua startup, e poi è passata a concentrarsi sul dare potere ad altri di fare lo stesso. Ha detto di essere stata sorpresa nel constatare che mentore di altri fondatori fosse persino più significativo della gestione della sua stessa startup. In termini di business, il ROI era più alto se si era disposti a considerare la realizzazione personale come un ritorno.

Questo è bello. Mi piace. Sì, direi che come scrittura, è stato bello. Inizio, sviluppo, finales, arriva a un punto. L’ho apprezzato.

Quella era in realtà IA.

Dannazione. IA, sei atterrata in un punto davvero bello. Va bene. Leggimi qualcosa che hai scritto, per favore.

Okay, ora abbiamo uno spoiler: ti leggerò qualcosa, qualcosa da me.

«Mi piacerebbe sostenere che scriviamo perché sentiamo la spinta a farlo, a prescindere dal fatto che qualcuno legga o meno, ma è davvero così?»

A cosa si riferisce il «loro»?

È un errore! È un errore grammaticale da parte mia. E complimenti per averlo notato perché molte persone hanno pensato che quello fosse l’IA, e credo che la migliore indicazione che sia stato davvero me sia proprio quel errore grammaticale. L’IA non avrebbe commesso un errore grammaticale del genere.

Questo è l’elemento di cui vorrei che parlassimo: l’IA non commette errori. E nella prima metà dello show, la nostra ospite, anch’essa scrittrice, ha descritto l’IA come una sorta di priva di anima. E penso che questo fosse parte di ciò a cui stava puntando.

Quello che hai letto dall’IA non era male. Allora ecco una domanda per te: quando tutto è stato detto e fatto e le persone non riuscivano a distinguere cosa fosse tuo — persone che ti conoscono bene — come ti sei sentita a riguardo? Ti sei sentita minacciata? Ti sei sentita sospettosa dei tuoi amici e della tua famiglia?

Mi sentii divisa, perché da una parte non mi sentivo minacciata, ma mi trovai a mettere in discussione la mia stessa supposizione su me stessa, secondo cui mi identifico come una scrittrice molto interessata all’originalità, che davvero vuole che ogni nuovo libro sia completamente diverso dai precedenti. E quindi il fatto che questa IA fosse stata addestrata sui miei libri precedenti e potesse prevedere lo stile di scrittura del nuovo libro suggeriva che non fossi così originale come pensavo, o che il mio nuovo libro non fosse così diverso dai precedenti quanto pensavo.

Allo stesso tempo, d’altra parte, mi sono sentita anche sollevata perché non sono d’accordo con l’altro autore che era stato tuo ospite in precedenza riguardo l’assenza di anima del testo generato dall’IA. Non penso che il testo generato dall’IA sia di per sé facilmente distinguibile dal testo umano a causa di una sorta di mancanza di anima insita nel testo.

I lettori riescono a distinguere tra qualcosa di IA e qualcosa scritto da un umano?

Sembra di no, e nemmeno io riesco a farlo. E questo ci riporta a quanto stavamo discutendo prima sulla domanda se un testo generato dall’IA sia convincente o privo di anima.

In definitiva, pensi che l’IA cambierà il nostro rapporto con la letteratura, o pensi che tutti i lettori saranno altrettanto scettici e spaesati come noi?

Le ricerche mostrano non solo che in alcuni casi le persone preferiscono testi generati dall’IA rispetto a quelli umani, ma anche che se viene detto che un testo è generato dall’IA, perdono interesse. E quindi sembra chiaro che il pubblico non voglia leggere testi generati dall’IA se sa che sono stati prodotti dall’IA.

Penso che tuoniamo molto su questa binary uomo/tecnologia — su, “Oh, è strano se una macchina crea il linguaggio.” Ma ritengo che una parte importante sia che vogliamo comunicare tra di noi. Non vogliamo ricevere la nostra arte da grandi aziende tecnologiche che hanno molta ricchezza e potere e vogliono controllarci.