ChatGpt non è (ancora) intelligente quanto un essere umano: i risultati di uno studio

L'umanità è salva. O quasi. ChatGpt non è stata in grado di superare il test di Turing. I risultati di questa ricerca condotta interamente online sono stati pubblicati dai ricercatori dell'Università della California a San Diego, Cameron Jones e Benjamin Bergen, sulla piattaforma arXiv e dovranno adesso passare al vaglio della comunità scientifica. L'intelligenza artificiale di Open AI, in particolare l'ultima versione disponibile da marzo di quest'anno Gpt-4, ha totalizzato il 41% nelle prove in cui è stata sottoposta, una percentuale elevata ma insufficiente per poter battere l'essere umano.

Quanto è intelligente ChatGpt

Gpt-4 ha fatto meglio del suo predecessore, Gpt-3.5, che si è fermato in una forbice compresa tra il 5 e il 14%. Ma il dato più sorprendente è che gli umani che hanno partecipato al test hanno convinto gli altri volontari di non essere delle macchine soltanto il 63% delle volte. L'AI si è "tradita" durante l'esame fornendo risposte eccessivamente generiche, formali, prolisse o troppo sintetiche, talvolta ricorrendo anche a una punteggiatura imprecisa e a evidenti errori grammaticali. Gli autori dello studio riconoscono però che "i modelli di intelligenza artificiale potrebbero essere molto bravi a imitare la conversazione umana in queste interazioni", rendendo quasi del tutto inefficaci le strategie applicate dai 650 individui coinvolti.

Jones e Bergen osservano infatti che nel corso del test i partecipanti hanno verificato le abilità del chatbot chiacchierando e discutendo di temi leggeri, in alcuni casi parlando in altre lingue diverse dall'inglese e domandando con una certa insistenza se si stavano interfacciando con una persona o con un computer. Una domanda apparentemente banale ma che, secondo i ricercatori, ha penalizzato ChatGpt.

Che cos'è il test di Turing

Il test di Turing è un esperimento ideato negli anni Cinquanta dallo scienziato inglese Alan Turing (da qui anche il nome del film del 2014 The Imitation Game) per dimostrare la capacità di pensare di una macchina. Si tratta di un gioco con tre attori: un uomo (A), una donna (B) e un intervistatore esterno denominato C. Nella versione semplificata del test adottata dagli studiosi americani, C riceve le risposte formulate da A e B e deve stabilire, sulla base del loro contenuto, se il soggetto che scrive è un umano o una macchina. A e B possono ingannare C e portarlo a credere che sia uno o l'altro.

Non è mai successo che l'intelligenza artificiale superasse il test di Turing e la recente diffusione di ChatGpt ha rimesso in discussione l'effettiva utilità e affidabilità di questo strumento per misurare le capacità dell'AI. In un articolo pubblicato lo scorso luglio su Nature, la giornalista Celeste Biever sostiene che i nuovi sistemi di intelligenza artificiale faticano a risolvere semplici problemi logici che le persone sono invece abituate (e in un certo senso addestrate) a ritrovarsi davanti. I Large Language Models (Llm) come ChatGpt mostrano tutti i loro limiti di fronte a indagini meccaniche e per questa ragione bisognerebbe introdurre un metodo di valutazione volto a definire meglio le capacità di ragionamento dell'intelligenza artificiale. Il test di Turing non valuta le conoscenze oggettive di una macchina, ma le confronta con quelle degli esseri umani.

Quando potrebbe uscire Gpt-5

Nel frattempo, il Ceo di Open AI Sam Altman ha presentato, durante la conferenza DevDay a San Francisco, Gpt-4 Turbo, l'ultima versione del chatbot ora aggiornato agli eventi di aprile 2023.

Aperta poi a tutti gli utenti iscritti la possibilità di creare una propria ChatGpt che potrà svolgere compiti precisi richiesti dagli abbonati. Il mondo ha però gli occhi puntati su un altro prodotto, Gpt-5, che secondo alcune voci di corridoio potrebbe vedere la luce già alla fine di quest'anno. Ma, soprattutto, potrebbe riuscire a passare il test di Turing.