De tyska spelarna jublade som om de vunnit guld och bildade en tv-puckshög ovanpå målvaktshjälten Philipp Dietl när slutsignalen gick i Scandinavium.
Dietl räddade 40 av 43 skott.
Finland har vunnit fem JVM-guld i historien, men tillhör inte de hetaste favoriterna i den här upplagan i Sverige.
Men att de skulle förlora mot Tyskland hade ingen räknat med.
Finland ledde med både 2–1 och 3–2, men kunde inte stänga matchen.
I stället vände tyskarna redan i andra perioden genom Roman Kechter och tvåmålsskytten Veit Oswald och höll sedan undan i tredje perioden.
Finland fick ett powerplay med knappt två minuter kvar och plockade ut målvakten, men kunde inte kvittera.
Finland står därmed på noll poäng efter två spelade matcher.
Tyskland spelade sin första match i turneringen och ställs på torsdagskvällen mot Sverige.
Onsdagens andra match i Sveriges grupp spelades mellan Kanada och Lettland. En match som Kanada vann med 10–0.