Unatoč tome što se veliki jezični modeli predstavljaju kao nova revolucija u umjetnoj inteligenciji, jedan “duhoviti” eksperiment podsjeća nas da takvi sustavi još uvijek nisu ni blizu pravog razmišljanja – čak ni u partiji šaha protiv 8-bitnog stroja iz sedamdesetih.
Citrixov inženjer Robert Jr. Caruso odlučio je suprotstaviti ChatGPT protiv emulirane verzije Video Chess igre na Atari 2600 konzoli (emuliranoj putem Stella softvera), koju pogoni procesor na svega 1,19 MHz. Rezultat? Potpuna dominacija starog hardvera nad modernim AI chatbotom.
Zanimljivo je da je ideja potekla upravo iz razgovora s ChatGPT-jem, kada je AI spomenuo Atari šah, a Caruso pretpostavio da se radi o jedinoj dostupnoj verziji za Atari 2600. Unatoč pruženom prikazu ploče, ChatGPT se mučio s osnovama: brkao je topove i lovce, ignorirao jednostavne šahovske prijetnje i gubio se u poziciji.
„Svaki potez zahtijevao je da ga zaustavljam u donošenju katastrofalnih odluka i iznova objašnjavam raspored figura“, izjavio je Caruso. ChatGPT je čak pokušavao prebaciti krivnju na „abstraktne simbole” korištene u igri kao razlog svoje konfuzije.
Iako je više puta tražio restart u nadi da će popraviti performanse, ChatGPT je poražen od jednostavnog 1 MHz šahovskog algoritma – stroja koji može predvidjeti jedva potez ili dva unaprijed. Ironično, dok GPT modeli troše goleme količine energije na serverima s vrhunskim GPU-ovima, Atari ih je porazio uz minimalne resurse.
Carusov eksperiment još jednom potvrđuje da su veliki jezični modeli poput ChatGPT-a više sofisticirani sustavi za obradu teksta i pretraživanje obrasca, nego istinski “inteligentni” entiteti. Nemaju razumijevanje, dedukciju, svijest – i očito ne znaju igrati šah.
Sljedeći eksperiment? Caruso planira poniziti ChatGPT i pomoću Battle Chess na 80286 računalu iz osamdesetih.
Dva različita alata, napravljena za dva različita posla. To mi dođe kao da zubarskim alatom pokušate operirati oko i onda se žalimo da baš i nije najbolji alat za to.
Ne znam baš da li je to tako. Chat GPT bi trebao imati vrhunske analitičke sposobnosti, a muči se analizirati partiju šaha? It doesn’t compute 😉
Nevjerojatno razočaravajuće od strane GPT. Da je imalo inteligentan mogao je pozvati u pomoć nekog online šahovskog agenta. Barem mu je cijeli internet na raspolaganju. Nevjerojatno…