Chatboții au dezvoltat o teorie a minții?

Citirea minții este ceva obișnuit la noi, oamenii. Nu în modul în care pretind că o fac mediumii, obținând acces la fluxurile calde de conștiință care umplu experiența fiecărui individ, sau în modul în care pretind că o fac mentaliștii, scoțând după bunul plac câte un gând din capul nostru. Citirea gândurilor în viața de zi cu zi este mai subtilă: observăm fețele și mișcările oamenilor, le ascultăm cuvintele și apoi deducem sau intuim ce se întâmplă în mințile lor.

În rândul psihologilor, o astfel de psihologie intuitivă – capacitatea de a atribui altor persoane stări mentale diferite de ale noastre – se numește teoria minții, iar absența sau afectarea acesteia a fost legată de autism, schizofrenie și alte tulburări de dezvoltare. Teoria minții ne ajută să comunicăm și să ne înțelegem unii pe alții; ne permite să ne bucurăm de literatură și filme, să jucăm jocuri și să dăm sens mediului nostru social. În multe privințe, această capacitate este o parte esențială a ființei umane.

Ce s-ar întâmpla dacă și o mașinărie ar putea citi mințile?

Recent, Michal Kosinski, psiholog la Stanford Graduate School of Business, a adus exact acest argument: că modelele lingvistice de mari dimensiuni precum ChatGPT și GPT-4 de la OpenAI – mașini de predicție a cuvintelor antrenate pe cantități mari de text de pe internet – au dezvoltat teoria minții. Studiile sale nu au fost revizuite de către colegi, dar au stârnit o dezbatere în rândul oamenilor de știință cognitivi, care au încercat să răspundă la întrebarea frecventă din aceste zile – Poate ChatGPT să facă acest lucru? – și să o mute pe tărâmul unei cercetări științifice mai solide. Ce capacități au aceste modele și cum ar putea schimba modul în care ne înțelegem propria minte?

„Psihologii nu ar accepta nicio afirmație despre capacitățile copiilor mici doar pe baza unor anecdote despre interacțiunile tale cu ei, ceea ce pare să se întâmple cu ChatGPT”, a declarat Alison Gopnik, psiholog la Universitatea din California și unul dintre primii cercetători care au analizat teoria minții în anii 1980. „Trebuie făcute teste destul de atente și riguroase.”

Cercetările anterioare ale doctorului Kosinski au arătat că rețelele neuronale antrenate să analizeze trăsături faciale precum forma nasului, unghiul capului și expresia emoțională ar putea prezice opiniile politice și orientarea sexuală a oamenilor cu un grad de acuratețe surprinzător (aproximativ 72% în primul caz și aproximativ 80% în cel de-al doilea caz). Lucrările sale recente privind modelele de limbaj de mari dimensiuni utilizează teste clasice de teoria minții care măsoară capacitatea copiilor de a atribui convingeri false altor persoane.

Un exemplu celebru este testul Sally-Anne, în care o fată, Anne, mută o bilă dintr-un coș într-o cutie atunci când o altă fată, Sally, nu se uită. Pentru a ști unde va căuta Sally bila, au susținut cercetătorii, un privitor ar trebui să își exercite teoria minții, raționând asupra dovezilor perceptuale ale lui Sally și asupra formării convingerilor: Sally nu a văzut-o pe Anne mutând bila în cutie, așa că ea crede în continuare că aceasta se află acolo unde a lăsat-o ultima dată, în coș.

Dr. Kosinski a prezentat 10 modele mari de limbaj cu 40 de variante unice ale acestor teste de teorie a minții – descrieri ale unor situații precum testul Sally-Anne, în care o persoană (Sally) își formează o convingere falsă. Apoi, el a pus modelelor întrebări despre aceste situații, stimulându-le pentru a vedea dacă ar atribui convingeri false personajelor implicate și dacă ar prezice cu exactitate comportamentul acestora. El a constatat că GPT-3.5, lansat în noiembrie 2022, a făcut acest lucru în 90% din cazuri, iar GPT-4, lansat în martie 2023, a făcut acest lucru în 95% din cazuri.

Concluzia? Mașinile au o teorie a minții.

Dar, la scurt timp după ce aceste rezultate au fost publicate, Tomer Ullman, psiholog la Universitatea Harvard, a răspuns cu un set de experimente proprii, arătând că mici ajustări ale prompterelor ar putea schimba complet răspunsurile generate chiar și de cele mai sofisticate modele mari de limbaj. Dacă un recipient era descris ca fiind transparent, mașinăriile nu reușeau să deducă faptul că cineva putea vedea în el. Mașinăriile au avut dificultăți în a lua în considerare mărturiile oamenilor în aceste situații și, uneori, nu au putut face diferența între un obiect aflat în interiorul unui container și cel aflat deasupra acestuia.

Maarten Sap, un informatician de la Universitatea Carnegie Mellon, a introdus peste 1.000 de teste de teorie a minții în modele lingvistice mari și a constatat că cele mai avansate transformatoare, precum ChatGPT și GPT-4, au trecut doar de aproximativ 70% dintre teste. (Cu alte cuvinte, au avut un succes de 70% în atribuirea de convingeri false persoanelor descrise în situațiile de testare). Discrepanța dintre datele sale și cele ale Dr. Kosinski ar putea fi cauzată de diferențele dintre teste, dar Dr. Sap a spus că nici măcar un procentaj de 95% nu ar fi o dovadă a unei adevărate teorii a minții. Mașinăriile eșuează de obicei într-un mod structurat, fiind incapabile să se angajeze în raționamente abstracte și făcând adesea „corelații false”, a spus el.

Dr. Ullman a remarcat că cercetătorii în domeniul învățării automate s-au străduit în ultimele două decenii să capteze flexibilitatea cunoștințelor umane în modelele computerizate. Această dificultate a fost o „constatare din umbră”, a spus el, atârnând în spatele fiecărei inovații interesante. Cercetătorii au arătat că modelele de limbaj vor da adesea răspunsuri greșite sau irelevante atunci când sunt amorsate cu informații inutile înainte de a fi pusă o întrebare; unii roboți de chat au fost atât de zăpăciți de discuții ipotetice despre păsări vorbitoare, încât în cele din urmă au afirmat că păsările pot vorbi. Deoarece raționamentul lor este sensibil la mici schimbări în datele de intrare, oamenii de știință au numit cunoștințele acestor mașinării ca fiind „fragile”.

Dr. Gopnik a comparat teoria minții a modelelor lingvistice mari cu propria sa înțelegere a relativității generale. „Am citit suficient pentru a ști ce sunt cuvintele”, a spus ea. „Dar dacă m-ați ruga să fac o nouă predicție sau să spun ce ne zice teoria lui Einstein despre un nou fenomen, aș rămâne perplexă pentru că nu am cu adevărat teoria în cap.” În schimb, a spus ea, teoria umană a minții este legată de alte mecanisme de raționament de bun simț; aceasta rezistă puternic în fața examinării.

În general, lucrarea doctorului Kosinski și răspunsurile la aceasta se încadrează într-o anumită dezbatere, anume dacă capacitățile acestor mașinării pot fi comparate cu cele ale oamenilor – o dezbatere care îi divizează pe cercetătorii care lucrează la procesarea limbajului natural. Sunt aceste mașinării papagali stocastici? Sau inteligențe extraterestre? Sau șmecheri frauduloși? Un sondaj realizat în 2022 în acest domeniu a constatat că, dintre cei 480 de cercetători care au răspuns, 51% credeau că modelele lingvistice mari ar putea, în cele din urmă, „înțelege limbajul natural într-un sens non-trivial”, iar 49% credeau că nu.

Dr. Ullman nu exclude posibilitatea înțelegerii teoriei minții de către mașinării, dar se ferește să atribuie capacități umane unor lucruri non-umane. El a menționat un studiu celebru din 1944 realizat de Fritz Heider și Marianne Simmel, în care participanților li s-a arătat un film de animație cu două triunghiuri și un cerc care interacționau. Când subiecții au fost rugați să scrie ce s-a întâmplat în film, aproape toți au descris formele ca fiind oameni.

Este firesc și adesea necesar din punct de vedere social să explicăm comportamentul uman vorbind despre credințe, dorințe, intenții și gânduri. Această tendință este esențială pentru ceea ce suntem – atât de esențială, încât uneori încercăm să citim mințile unor lucruri care nu au minte, cel puțin nu ca a noastră.