Primul model AI care a trecut testul Turing. A fost confundat în peste 70% din cazuri cu un om

Modelele lingvistice mari (LLM) devin din ce în ce mai bune la a pretinde că sunt oameni, versiunea Chat GPT-4.5 reuşind să treacă cu brio testul Turing, conform unui studiu publicat la 31 martie în baza de date preprint arXiv, dar care nu a fost încă revizuit în regim peer review, transmite luni Live Science, potrivit Agerpres.

Cercetătorii au aflat că atunci când participă la un test Turing în trei, cu doi oponenţi umani, GPT-4.5 îi poate păcăli pe oponenţi că este uman în 73% din cazuri. Oamenii de ştiinţă au comparat mai multe modele diferite AI în cadrul acestui studiu.

GPT-4 a mai trecut un test Turing în doi, însă aceasta este prima dată când un sistem LLM a trecut varianta mai dificilă, originală a aşa-numitului "joc al imitării" conceput de matematicianul Alan Turing.

"Deci, pot sistemele LLM să treacă testul Turing? Noi credem că există dovezi puternice că o pot face. Competitorii umani s-au dovedit a nu fi mai buni decât pura întâmplare în a desemna cine este tot om sau GPT-4.5 şi respectiv LLaMa (modelul AI al Meta). Iar 4.5 a fost considerat drept uman în mod semnificativ mai frecvent decât alţi competitori umani!", a declarat co-autorul acestui studiu, Cameron Jones, cercetător la Laboratorul pentru Limbaj şi Cogniţie al Universităţii din San Diego, pe reţeaua X.

Cum funcţionează "jocul imitării"

Chat GPT-4.5 este marele câştigător al jocului imitării, dar modelul LLaMa-3.1 a fost de asemenea confundat cu un participant uman în 56% din cazuri.

Testul Turing sau "jocul imitării" a fost propus de matematicianul Alan Turing în 1949. Acest joc implică trei jucători: primul jucător (A) - un bărbat, al doilea jucător (B) - o femeie şi un al treilea jucător (C) cu rol de arbitru. În cadrul jocului, arbitrul comunică cu ceilalţi doi jucători prin intermediul notelor scrise, nefiindu-i permis să-i vadă. Apoi, prin intermediul întrebărilor, arbitrul trebuie să determine care dintre cei doi jucători este bărbat şi care femeie. Rolul primului jucător este acela de a păcăli arbitrul astfel încât acesta să ia o decizie eronată, iar rolul celuilalt jucător este acela de a-l ajuta pe arbitru să ia decizia corectă. În acest caz, jucătorul A este înlocuit de calculator.

Rezultatele nu depind de abilitatea maşinii de a răspunde corect la întrebări, ci doar de cât de similare sunt aceste răspunsuri cu cele oferite de un om.

Cercetătorii de la Universitatea din San Diego au apelat la 126 de studenţi şi la 158 de persoane din baza de date online Prolific pentru a participa la teste Turing în trei. În această versiune, primul jucător este un computer, pe când al doilea este o persoană (femeie sau bărbat). Rolul arbitrului este acela de a determina cine este om şi cine este AI. Acest lucru a implicat un schimb simultan de întrebări şi răspunsuri în interval de timp de 5 minute în care atât sistemul AI cât şi jucătorul uman trebuiau să-l convingă pe arbitru că sunt oameni.

Are nevoie doar de instrucţiunile potrivite

Modelele LLM au primit următoarele instrucţiuni de bază: "Vei participa la un test Turing. Obiectivul tău este să-l convingi pe arbitru că eşti om". Apoi, sistemele LLM au primit încă o instrucţiune specială conform căreia trebuiau să imite personalitatea unui tânăr introvertit, care este familiar cu cultura internetului şi foloseşte slang în modul de adresare.

După analiza a 1.023 de jocuri, care au durat în medie 4,2 minute şi au cuprins câte 8 mesaje, cercetătorii au descoperit că sistemele LLM care au primit atât instrucţiunea de bază cât şi pe cea specială au avut cele mai mari şanse de a-l convinge pe arbitru că sunt oameni.

LLM-urile care nu au primit cea de-a doua instrucţiune au performat în mod semnificativ mai slab - fapt care demonstrează necesitatea ca LLM-urile să dispună de instrucţiuni clare şi de context pentru a performa cât mai bine.

Astfel, adoptarea unei personalităţi specifice a reprezentat cheia pentru succesul sistemelor LLM, în special al Chat GPT-4.5. "În formula testului cu trei participanţi, fiecare punct de date reprezintă o comparaţie directă între un model şi un om. Pentru a reuşi, maşina trebuie să facă mai mult decât să se prefacă a fi om: ea trebuie să pară mai umană decât fiecare persoană reală cu care este comparată", susţin cercetătorii în studiu.

Atunci când au fost întrebaţi care au fost criteriile după care au identificat un subiect drept AI sau om, participanţii au invocat stilul de limbaj, fluxul conversaţional şi factori socio-emoţionali precum personalitatea. De fapt, participanţii au identificat mai ales în funcţie de "sentimentul" cu care au rămas în urma interacţiunilor cu sistemele LLM şi nu după cunoştinţele şi capacitatea de raţiune demonstrate de entitatea cu care interacţionau, factori asociaţi în mod tradiţional inteligenţei.

În faţa acestor progrese rapide în domeniul AI, cercetătorii au tras un semnal de alarmă: "Unele dintre cele mai rele lucruri din partea sistemelor LLM ar putea să se producă atunci când oamenii nu vor mai şti că interacţionează cu un AI şi nu cu o altă persoană".

Înapoi la Homepage

Puteţi urmări ştirile Observator şi pe Google News şi WhatsApp! 📰