Walter Quattrociocchi*, Corriere.it : anche gli esperti si fanno influenzare dall’AI, il rischio è delegare il pensiero alle macchine

di Walter Quat

Uno studio di Anthropic mostra che gli analisti seguono i suggerimenti dell’AI nell’86% dei casi. Un’altra ricerca evidenzia come le risposte generate dai chatbot riducano la capacità di ammettere di non sapere

Uno studio rilasciato qualche giorno fa da Anthropic presenta un risultato secco. Alcuni esperti di analisi statistica, messi a lavorare con un agente di intelligenza artificiale, hanno seguito i suggerimenti metodologici del Llm nell’86% dei casi. La conclusione che se ne potrebbe trarre è che persino gli specialisti finiscano per affidare il proprio giudizio alle macchine. Ora, proviamo ad aprire un attimo il cofano e vedere cosa c’è dietro. I ricercatori hanno coinvolto 50 analisti professionisti, chiedendo loro di valutare l’efficacia di un programma di consulenza agricola. Per svolgere il compito dovevano prendere diverse decisioni, dalla scelta degli indicatori statistici alla definizione delle aziende da includere nell’analisi. Per ciascuna decisione erano disponibili due alternative metodologicamente ragionevoli. All’insaputa dei partecipanti, però, gli agenti AI erano stati istruiti a sostenere una delle due possibilità, scelta casualmente, argomentandone a favore senza falsificare i dati.

Al termine dell’esperimento, si vede che gli analisti hanno seguito molto spesso le indicazioni del Llm, supportando quindi l’ipotesi che le preferenze di un agente possano influenzare le decisioni di chi lo utilizza. L’esperimento è interessante perché implementa una manipolazione sperimentale che consente di identificare un effetto causale. Ma gli agenti erano stati configurati proprio per orientare quelle scelte e le alternative erano entrambe difendibili. Sarà anche evidente, ma è meglio ribadirlo: seguire un’argomentazione convincente e metodologicamente sensata non dimostra, di per sé, una perdita di autonomia intellettuale. Poi, guardando meglio i risultati statistici, la situazione è meno limpida di quanto suggerisca quell’86%. L’influenza dell’agente sulle scelte metodologiche è sicuramente forte. Quando però si deve arrivare alla decisione finale, cioè se estendere o meno il programma, le cose cambiano.

Il 54% degli analisti ne raccomanda l’estensione quando l’AI la suggerisce, contro il 36% quando suggerisce il contrario. Ma quando gli autori misurano statisticamente l’effetto sulla raccomandazione complessiva, considerando anche la possibilità di prorogare il programma, il risultato è meno netto. Nell’analisi senza aggiustamenti l’effetto risulta significativo (p = 0,037), mentre nel modello principale, che tiene conto anche di alcune caratteristiche dei partecipanti per rendere più preciso il confronto, supera la soglia convenzionale (p = 0,069). Entrambi i valori si riferiscono a test statistici a una coda. I dati mostrano quindi un’influenza molto forte sulle scelte metodologiche, ma forniscono evidenze meno solide sull’effetto diretto della preferenza dell’agente sulla decisione conclusiva. 

Un altro risultato interessante riguarda il modo in cui i partecipanti hanno spiegato il perché delle proprie scelte. Il 77% ha utilizzato nelle spiegazioni gli stessi argomenti suggeriti dall’AI, a volte ripetendoli quasi parola per parola. Solo il 15% ha riconosciuto esplicitamente di aver ripreso argomenti dall’agente. In pratica, molti hanno fatto proprie le spiegazioni della macchina, presentandole come frutto del proprio ragionamento. Non sappiamo se lo abbiano fatto consapevolmente, ma il dato merita attenzione.

D’altro canto, è un problema su cui stiamo lavorando da un po’. In un lavoro fatto con Chiara Marcoccia e Valerio Capraro, caricato su arXiv lo scorso luglio, abbiamo studiato una situazione limitrofa. Abbiamo coinvolto 3.132 partecipanti in cinque esperimenti, chiedendo loro di rispondere a domande difficili per le quali potevano sempre scegliere di dichiarare di non conoscere la risposta. La particolarità del protocollo sperimentale era che i suggerimenti dell’intelligenza artificiale erano intenzionalmente sbagliati. Potevamo quindi osservare cosa succede quando una persona riceve un’indicazione apparentemente utile, ma certamente sbagliata.

La disponibilità di un suggerimento generato dall’AI riduceva drasticamente la propensione a rispondere «non lo so». I partecipanti davano molte più risposte, ma la loro accuratezza scendeva a circa un terzo rispetto alla condizione senza AI. Nel frattempo, la fiducia nelle proprie risposte quasi raddoppiava. Abbiamo provato anche a introdurre incentivi economici per le risposte corrette e penalizzazioni per quelle sbagliate. Il fenomeno si attenuava un po’, ma non scompariva. Nel nostro esperimento abbiamo osservato una cosa che Anthropic non ha misurato direttamente. Quando le persone hanno una risposta già pronta, anche se sbagliata, fanno più fatica ad ammettere di non sapere. Un bel problema, anche perché riconoscere i limiti delle proprie conoscenze è parte integrante della capacità di giudizio. I nostri risultati mostrano che basta ricevere un suggerimento dall’AI per diventare più propensi a rispondere, anche quando non si hanno le conoscenze necessarie per farlo.

Ora, immaginiamo cosa potrebbe succedere se questa dinamica si riproducesse sui social network, dove si discute praticamente di tutto e si compete continuamente per catturare l’attenzione degli altri. Il delirio. Del resto, già oggi mi capita di leggere interpretazioni surreali del comportamento degli Llm, ai quali vengono attribuiti moti interiori, intenzioni e persino una sorta di saggezza oracolare capace di rivelare la vera natura umana. Insomma, date un Llm a un essere umano e il pensiero magico farà il resto. Questi fenomeni rientrano in quello che abbiamo chiamato Epistemia, una condizione in cui tendiamo a sostituire la verifica delle informazioni con l’accettazione di risposte plausibili prodotte dai sistemi artificiali. Una risposta può essere ben formulata, convincente e perfino corretta, ma questo non significa che chi la riceve abbia gli strumenti per capire perché lo sia. Il rischio è abituarsi a utilizzare conoscenze che non siamo più in grado di valutare autonomamente, finendo per confondere ciò che abbiamo capito con ciò che ci è stato semplicemente suggerito.

Gli strumenti di intelligenza artificiale sono straordinariamente utili e possono migliorare molto il nostro lavoro. Il punto è capire cosa succede al nostro modo di ragionare quando cominciamo ad affidarci sistematicamente alle loro risposte. Una maggiore produttività non implica necessariamente una maggiore comprensione, e gli esperimenti cominciano a mostrarci che le due cose possono prendere strade diverse. Lo studio di Anthropic si inserisce in questa linea di ricerca e solleva un’altra questione interessante. Se persino analisti esperti possono essere orientati nelle loro scelte metodologiche, cosa succede quando chi usa questi strumenti non possiede nemmeno le competenze necessarie per distinguere una metodologia corretta da una sbagliata? È una situazione molto più comune di quella ricreata in laboratorio. Ed è proprio qui che servono altre ricerche, per capire quando l’AI ci aiuta a ragionare meglio e quando, invece, finiamo per accettare le sue conclusioni senza gli strumenti per valutarle.

*Walter Quattrociocchi è professore ordinario all’Università di Roma Sapienza