Stöger werd geboren in Steyr. In 2009 plukte VfB Stuttgart hem weg uit eigen land bij SV Ried. Op 31 oktober 2012 debuteerde hij voor het eerste elftal in de DFB-Pokal tegen FC St. Pauli.[3] In juli 2013 besloot VfB Stuttgart om de Oostenrijker voor twee seizoenen uit te lenen aan Kaiserslautern. In zijn eerste seizoen bij Kaiserslautern kwam Stöger amper aan speelminuten. Op 4 mei 2014 scoorde hij zijn eerste treffer in de 2. Bundesliga in de thuiswedstrijd tegen Dynamo Dresden.[4] In zijn tweede jaar dwong hij een basisplaats af.