Rayer doorliep de jeugdopleiding van VVV. Hij speelde als voorstopper en laatste man en maakte er als 17-jarige op 14 maart 1990 zijn competitiedebuut in een uitwedstrijd bij RBC (0-0), als vervanger van de geblesseerde Roger Polman. Ruim een jaar later werd zijn vader, Henk Rayer, aangesteld als trainer van VVV en promoveerde de club via de nacompetitie naar de Eredivisie. Na diens ontslag eind augustus 1992 werd Frans Körver aangesteld als trainer, met wie hij in 1993 kampioen werd van de Eerste divisie. Hoewel VVV opnieuw naar de Eredivisie promoveerde, liet de verdediger zich voor een jaar verhuren aan Telstar, waarmee hij wederom de nacompetitie haalde. Ook het daaropvolgende seizoen werd hij verhuurd, ditmaal aan Fortuna Sittard, waarmee hij in 1995 voor de tweede keer kampioen werd van de Eerste divisie. Na twee jaren uitgeleend te zijn, keerde hij vervolgens onder Jan Versleijen weer terug bij VVV, waarmee hij in 1996 en 1997 nog twee keer de nacompetitie behaalde, maar niet wist te promoveren.
In 1997 vertrok Rayer om financiële redenen naar Excelsior, maar enkele maanden later liet hij vanwege heimwee zijn contract ontbinden en keerde hij opnieuw naar Venlo terug.[1] Na drie seizoenen vertrok hij naar het Duitse Rot-Weiss Essen. Wegens een zware voetblessure beëindigde Rayer in 2001 zijn profloopbaan.
Nederland
Rot-Weiss Essen