Forskare förklarar: Därför ljuger AI:n

Det kan nästan kännas magiskt att se text skapas i chattrobotar som Chat GPT, Bard eller Pi. Utan protester hjälper de till med allt från att sammanfatta svåra textmassor, ge middagstips eller svara på faktafrågor. Men ofta blir det galet. Chattrobotarna har inget emot att hitta på källhänvisningar, människor eller händelseförlopp och presentera det som sanning.

Men frågan om vad som får AI:n att hitta på saker – att hallucinera, som det kommit att kallas – är egentligen felställd, enligt AI-forskare.

— Jag skulle säga att det är ett mindre mirakel att de kan ge dig svar som är faktamässigt korrekta i någon mening, säger Suresh Venkatasubramanian.

Han är professor i datavetenskap vid amerikanska Brown University och har varit med att ta fram Vita husets riktlinjer kring AI-rättigheter.

— Om du frågar en chattrobot så är den inte riktigt tillåten att säga "jag vet inte". Den är byggd för att ge dig något sorts svar vad än frågan är, så länge det verkar vettigt, mot bakgrund av de texter den tränats på, säger han och fortsätter:

— Så om du frågar den vilka som jobbar på ditt företag så kommer den att förse dig med fyra–fem namn, för det är så den sett svar på liknande frågor tidigare, oavsett om de namnen är korrekta eller inte.

"Hallucinerar hela tiden"

Mattias Rost är lektor vid Göteborgs universitet och förklarar att robotarna räknar ut sannolikheten för vad nästa ord i en mening är, får fram en lista och utifrån den väljs ett alternativ. Det är lite som när mobilen eller mejlsystemet föreslår en fortsättning när du skriver ett ord.

— Resultatet är på något sätt alltid någorlunda slumpmässigt. Men ju bättre modellen är, desto mer sannolikt är det att texten den spottar ur sig är sådan som vi kan förstå. Men det finns inget i dess underliggande natur som skulle vara att den är mer korrekt eller inte.

Exakt varför AI-tjänsterna spottar ut sig ett visst svar är ofta oklart. Likt den mänskliga hjärnan vet forskarna inte riktigt hur språkmodellerna gör sitt urval.

— Den hallucinerar hela tiden, det ligger i dess natur, det är bara det att väldigt ofta blir det rätt, säger Rost.

Men folk vill av gammal vana gärna använda ny teknik på invanda sätt, på samma sätt som Google eller Wikipedia.

— Jag skulle säga att den här tekniken är inte gjord för den här typen av faktakunskap, säger Rost.

Julrim och forskning

I somras bannades en advokat i USA för att ha använt Chat GPT för att förbereda ett rättsfall, där chattroboten glatt hittade på liknande fall som visade sig inte existera.

— Det är ett exempel på när det kan vara problematiskt, där det kan bli rätt illa. Medan det i andra fall oftast är okej, säger Suresh Venkatasubramanian.

Ett sätt att försöka att lösa problematiken är att lägga annan teknik ovanpå, som hjälper till med källhänvisning och faktagranskning.

Hallucinerandet i sig är heller inte dåligt, utan krävs för att kunna tänka utanför boxen.

— Inom forskning kan den exempelvis användas för att generera möjliga hypoteser, som att ta fram läkemedelsmolekyler att testa, eller en ny proteinstruktur. Då kan det vara bra med en kreativ assistent.

Mattias Rost är inne på samma spår:

— Det finns jättebra exempel på det vi nu kallar hallucinationer som är jättepositivt. Om du skapar ett julrim, vill du att den ska hitta på nya grejer, säger han.