AI pretraživanje trebalo je ubrzati dolazak do informacija, ali čini se da nas ponekad vodi i u krivom smjeru. Najnovije analize pokazuju da Google u svojim AI sažecima i dalje griješi češće nego što bi mnogi očekivali, a razmjeri problema mogli bi biti znatno veći nego što se na prvi pogled čini.
Prema izvještaju The New York Times, otprilike jedan od deset AI generiranih odgovora u Google pretraživanju sadrži netočne informacije. Kada se ta brojka stavi u kontekst oko pet bilijuna pretraga godišnje, dolazimo do zapanjujućih procjena – deseci milijuna pogrešnih odgovora svakog sata. Drugim riječima, gotovo milijun netočnih informacija svake minute potencijalno dolazi pred korisnike.
Koliko su zapravo točni Googleovi AI odgovori?
Podaci dolaze od AI startupa Oumi, koji je analizirao više od 4.000 Google pretraga koristeći benchmark SimpleQA. Njihovi rezultati pokazuju da je Gemini verzija 2 u listopadu bila točna u 85 posto slučajeva, dok je novija verzija 3 do veljače napredovala na 91 posto.
Na papiru to zvuči kao solidan napredak. U praksi, međutim, i tih preostalih devet posto znači ogroman broj potencijalno krivih odgovora, s obzirom na volumen pretraga koji Google svakodnevno obrađuje. Dodatni problem je što se rezultati mogu razlikovati čak i kada se ista pretraga ponovi nekoliko sekundi kasnije.
Google osporava metodologiju istraživanja, tvrdeći da ne odražava stvarno ponašanje korisnika. Interni podaci kompanije navodno pokazuju da Gemini 3, kada radi izvan konteksta tražilice, “halucinira” u oko 28 posto slučajeva, što dodatno komplicira sliku o pouzdanosti sustava.
Možemo li vjerovati izvorima koje AI navodi?
Jedan od većih problema nije samo točnost odgovora, nego i način na koji ih AI potkrepljuje. Google uz AI sažetke često prikazuje linkove na izvore, ali oni nerijetko ne potvrđuju tvrdnje koje AI iznosi. Ponekad je situacija čak i apsurdna – netočan AI odgovor prati link s točnim informacijama, ili obrnuto.
Analiza pokazuje da su takva neslaganja postala češća s novijom verzijom modela. Kod Geminija 2 pojavljuju se u 37 posto slučajeva, dok kod Geminija 3 taj broj raste na 56 posto. Drugim riječima, više od polovice AI odgovora može imati problematičnu vezu s izvorima koje citira.
Istraživači su također pokazali koliko je sustav podložan manipulaciji. U jednom eksperimentu, novinar BBC objavio je blog s netočnim informacijama, a već sljedeći dan Googleov AI ih je preuzeo i prikazivao kao činjenice.
Zanimljivo, same kompanije već se djelomično ograđuju od vlastitih alata. Microsoft u uvjetima korištenja za Copilot navodi da je alat namijenjen zabavi, a ne donošenju važnih odluka. Google pak savjetuje korisnicima da provjere informacije, dok xAI otvoreno priznaje da su halucinacije dio igre.
Zaključak je prilično jasan – AI pretraživanje može biti koristan alat, ali još uvijek nije nepogrešiv izvor istine. A dok se tehnologija ne stabilizira, stara navika provjere informacija iz više izvora ponovno postaje itekako aktualna.
