Österrike noterades för 14 skott på mål, vilket går att jämföra med Sveriges tre.
Olsen svarade för flera vassa parader i slutskedet av den första halvleken, där han även tillfälligt blev sänkt efter ett skott i ansiktet.
I andra halvlek fortsatte den blågula burväktaren att visa upp ett alldeles utmärkt målvaktsregister.
Men han fick till slut se sig överlistad efter två sena mål av Christoph Baumgartner.
– Jag hade kunnat säga väldigt mycket saker som jag inte ska säga just nu. Jag vet inte. Fly förbannad är vad jag är. Men vi förtjänar att förlora i dag. Det är bara att säga som det är, vi förtjänar att förlora. Vi måste fan ta mig steppa upp, säger Olsen till Viaplay.
På frågan varför han är så förbannad svarar han:
– Det är sättet vi kommer hit på, vi har haft en bra känsla i laget hela veckan, sett fram emot matchen väldigt mycket och sedan komma hit och… vi var passiva. Vi börjar spela fotboll när de gör 1–0.
Olsen stannade även till i den mixade zonen.
– Det är ett väldigt, väldigt bra fotbollslag, men vi har mött de här riktiga toppnationerna och verkligen bjudit upp till dans. I dag vet jag inte vad som hände, säger han och avslutar:
– Vi förlorar en fotbollsmatch, just nu känns det som att allt är skit. Det är aldrig kul att förlora, men det är bara att blicka framåt, det är det enda vi kan göra.