Den förre Hammarbystjärnan gjorde blott sitt sjunde framträdande i spanska ligan med Celta den här säsongen när han kom in på planen i den 67:e minuten.
Mötet med Real Betis såg ut att sluta 1–1 när Swedberg stack i djupled, kom ensam med Betis målvakt och iskallt rundade denne och tryckte in segermålet.
Då visade matchuret på 96 minuter.
Det var Swedbergs andra ligamål för Celta Vigo sedan U21-landslagsmannens övergång från Hammarby sommaren 2022.
Han avgjorde även mot Almería i början av september.
Tack vare Williot Swedbergs segermål klättrade Celta Vigo förbi Cadiz och upp ovan nedflyttningsstrecket.