Un nou studiu realizat de Columbia Journalism Review (CJR), prin intermediul Tow Center for Digital Journalism, dezvăluie probleme grave de acuratețe în modelele de inteligență artificială generativă utilizate pentru căutările de știri. Cercetarea, care a testat opt motoare de căutare AI echipate cu funcționalități de căutare în timp real, a descoperit că modelele au furnizat răspunsuri incorecte în peste 60% din interogări despre sursele de știri.
O alternativă nesigură la motoarele de căutare tradiționale
Conform raportului realizat de Klaudia Jaźwińska și Aisvarya Chandrasekar, aproximativ 1 din 4 americani utilizează în prezent modelele de AI ca alternativă la motoarele de căutare clasice, ceea ce ridică probleme serioase privind fiabilitatea acestora, având în vedere rata mare de eroare identificată.
Rata de erori a variat semnificativ între platformele testate:
- Perplexity a oferit răspunsuri incorecte în 37% din cazuri.
- ChatGPT Search a identificat greșit 67% dintre articolele analizate.
- Grok 3 a înregistrat cea mai ridicată rată de eroare, de 94%.
În testele realizate, cercetătorii au introdus fragmente exacte din articole de știri și au cerut modelelor AI să identifice titlul articolului, editorul original, data publicării și URL-ul. Au fost efectuate 1.600 de interogări pe cele opt instrumente AI de căutare generativă.
Modelele AI preferă să inventeze informații decât să admită că nu știu răspunsul
Unul dintre aspectele îngrijorătoare ale studiului a fost tendința AI de a furniza informații greșite cu un nivel ridicat de încredere, în loc să refuze să răspundă atunci când nu au date suficiente. Această problemă a fost observată la toate modelele testate, nu doar la unul singur.
Surprinzător, versiunile premium ale acestor motoare AI au avut rezultate chiar mai slabe în unele aspecte. Perplexity Pro (20$/lună) și Grok 3 Premium (40$/lună) au oferit mai multe răspunsuri incorecte decât versiunile gratuite, deoarece au încercat să furnizeze răspunsuri chiar și atunci când nu aveau date fiabile.
Probleme cu citările și accesul la conținut restricționat
Cercetătorii de la CJR au descoperit și că unele instrumente AI nu respectă Protocolul de Excludere a Roboților, folosit de editorii de conținut pentru a bloca accesul neautorizat. De exemplu, versiunea gratuită a Perplexity a reușit să identifice corect toate cele 10 fragmente de conținut preluate din articole protejate de paywall de la National Geographic, în ciuda faptului că National Geographic a blocat în mod explicit accesul crawler-elor Perplexity.
Chiar și atunci când AI a oferit surse, acestea erau adesea incorecte sau direcționau utilizatorii către versiuni republicate ale articolelor, pe platforme precum Yahoo News, în loc de site-urile editorilor originali.
O altă problemă majoră a fost fabricarea adreselor URL. Peste jumătate dintre citările furnizate de Google Gemini și Grok 3 trimiteau utilizatorii către link-uri inexistente sau pagini de eroare. Din 200 de citări testate de la Grok 3, 154 erau link-uri nefuncționale.
Editorii de știri, prinși între protecția conținutului și pierderea vizibilității
Aceste probleme pun editorii de știri într-o situație dificilă. Dacă blochează accesul AI la conținutul lor, riscă să nu mai fie citați deloc. Dacă permit accesul, conținutul lor este reutilizat pe scară largă, fără a genera trafic pe propriile platforme.
Mark Howard, director operațional la Time Magazine, a declarat pentru CJR că este esențial ca editorii să aibă control și transparență asupra modului în care conținutul lor apare în căutările AI. Totuși, Howard consideră că aceste probleme vor fi remediate în timp, afirmând că „astăzi este cel mai slab punct al acestor produse, dar vor deveni mai bune”, datorită investițiilor și eforturilor de inginerie.
În același timp, el a criticat utilizatorii care au încredere oarbă în modelele AI gratuite, spunând că „dacă cineva crede că aceste produse gratuite sunt 100% corecte, atunci e vina lor”.
Reacția companiilor de tehnologie
OpenAI și Microsoft au recunoscut că au primit raportul CJR, dar nu au oferit răspunsuri clare la problemele semnalate. OpenAI a reiterat angajamentul său de a sprijini editorii prin generarea de trafic prin rezumate, citate și link-uri clare. Microsoft a susținut că respectă Protocolul de Excludere a Roboților și directivele editorilor.
Acest raport continuă investigațiile anterioare ale Tow Center for Digital Journalism, care în noiembrie 2024 a identificat probleme similare legate de modul în care ChatGPT gestionează conținutul de știri. Cei interesați pot citi raportul complet pe site-ul Columbia Journalism Review.
Concluzie
Studiul Columbia Journalism Review scoate la iveală probleme grave de acuratețe și transparență în instrumentele AI generative folosite pentru căutările de știri. Deși aceste tehnologii sunt din ce în ce mai utilizate, ele nu sunt încă suficient de fiabile pentru a înlocui motoarele de căutare tradiționale sau sursele de știri verificate. Pe măsură ce AI continuă să evolueze, rămâne de văzut dacă și cum vor putea companiile să rezolve aceste deficiențe.
