Vid Googles stora presentation häromveckan tog vd:n Sundar Pichai upp en lite oväntad milstolpe:
— Den kanske är den mest imponerande, i alla fall i vissa kretsar; för några veckor sedan klarade Gemini ”Pokémon blue”, sade han från scenen i kaliforniska Mountain View.
Det är en privatperson som låtit Googles språkmodell Gemini och konkurrenten Anthropics modell Claude spela ”Pokémon blue” respektive ”Red" från 1996. Äventyren har sänts i realtid på videoplattformen Twitch.
Julian Togelius, forskare vid New York University och gästprofessor vid Högskolan i Skövde, säger att det är en intressant utmaning att få språkmodellerna att spela spelen.
Tolkar bilder
AI:n spelar genom en emulator. Den tar skärmdumpar, som sedan skickas till språkmodellen för analys, tillsammans med en del information från spelets ramminne. Därefter fattas ett beslut som översätts till en knapptryckning och sedan börjar processen om igen.
— Utmaningarna om man är en stor språkmodell och spelar spel handlar först om att förstå vad det är man ser framför sig. Vad betyder de här pixlarna? säger Togelius.
Modellerna, som tränats på det som finns på internet, har antagligen haft stor nytta av att mycket skrivits om just Pokémonspelen.
— Det är därför de är bra i det här fallet. Om du skulle göra precis samma sak men med ett nytt spel som ingen hade sett innan och bara bad språkmodellerna att spela det, så skulle de antagligen inte komma så långt.
800 timmar
För Gemini tog det 800 timmar att klara "Pokémon blue".
— Väldigt ofta verkar den ha tappat tråden och göra någonting annat konstigt. Men så är det ju kanske när många av oss spelar sådana här spel också.
Till sin hjälp har Gemini haft en AI-baserad så kallad agent, som observerar och med jämna mellanrum utvärderar och ger rekommendationer om vad som ska ske härnäst.
— Det är som att man har flera trådar i huvudet samtidigt, men då och då tittar upp och funderar på vad man egentligen skulle göra. Vad gjorde jag senast och vad ska jag göra härnäst?
Den som åkt på stryk av en schackrobot eller en datorkontrollerad bot i ett spel kanske funderar på vad som egentligen är speciellt med att en språkmodell klarar ett nästan 30 år gammalt tv-spel. Men det är helt olika saker, poängterar Togelius.
— Spel är jätteintressanta att testa AI med, för de speglar så mycket av mänskligt tänkande, säger han.
