Apple je objavio istraživanje koje je odmah potaknulo raspravu: jesu li pronašli elegantan, ali potencijalno opasan način “špijuniranja” korisnika pomoću umjetne inteligencije? Iako se u papiru ne koristi takva terminologija, teško je ignorirati činjenicu da LLM-ovi – veliki jezični modeli – mogu iznenađujuće precizno zaključiti što korisnik radi samo na temelju zvuka i pokreta.
U studiji pod nazivom “Using LLMs for Late Multimodal Sensor Fusion for Activity Recognition” Appleovi su istraživači pokazali da AI može pogoditi korisnikovu aktivnost iz podataka mikrofona, akcelerometra i žiroskopa, i to čak i kada ti podaci nisu pretjerano detaljni. Modelu se ne šalje stvarni audio, nego kratki tekstualni opis generiran manjim modelima – primjerice opis zvukova ili pokreta – a LLM zatim iz toga izvlači zaključak o tome što osoba radi. I bez dodatnog treniranja, preciznost je značajno iznad slučajne.
Kako bi testirali gdje su granice takvog pristupa, istraživači su koristili Ego4D, golemi skup podataka snimljenih iz perspektive prvog lica, pun svakodnevnih situacija – kuhanje, usisavanje, igranje s ljubimcima, korištenje računala, sport. Odabrali su 12 tipičnih aktivnosti i svakoj dali samo 20 sekundi audio-motoričkih signala. LLM je zatim trebao pogoditi radnju, bilo da mu se unaprijed daju sve opcije, bilo da potpuno samostalno zaključi što se događa. U oba slučaja rezultati su bili neočekivano dobri, a dodatni primjer (“one-shot”) dodatno poboljšava točnost.
Upravo zato tema izaziva nelagodu: ako AI može iz zvuka posuđa, ritma koraka i pokreta ruke zaključiti da netko pere suđe ili tipka na računalu, gdje su granice takve tehnologije? Apple naglašava da cilj nije nadzor, nego poboljšanje snimanja aktivnosti i konteksta korisnika – primjerice za fitness, zdravlje i pametnije ponašanje uređaja u situacijama kad senzori nisu dovoljni. Uz to, LLM ne prima snimke, već samo opis, čime se, tvrde, čuva privatnost.
Ipak, mogućnosti koje ova tehnika otvara sigurno će potaknuti nova pitanja: može li se ista metoda koristiti za detaljnije praćenje korisnika? Hoće li neki drugi proizvođači biti manje suzdržani u implementaciji? I može li se uopće definirati jasna granica što je “kontekst” za korisničko iskustvo, a što već prelazi u neželjeni nadzor?
Apple je, uz rad, objavio i kompletne dodatne materijale – ID-eve korištenih isječaka, vremenske oznake, promptove – kako bi drugi mogli reproducirati rezultate. Time zapravo poručuju da ovo nije izolirani eksperiment, nego smjer razvoja koji ćemo sigurno pratiti u godinama koje dolaze.
