Korábbi hamburgi klubtársa Felix Magath mellett kezdett segédedzőként dolgozni a Hamburger SV együttesénél. 1998-ban hat hónapig az SV Meppen vezetőedzője volt, de csapata kiesett a másodosztályból. Ugyan ebben az évben a VfB Stuttgartnál lett segédedző Winfried Schäfer mellett, aki korábban az edzője volt a Karlsruher SC csapatánál. 2000–01-ben Berti Vogts segédedzője volt a Bayer Leverkusennél. Vogts 2001–02-ben a Kuvaiti válogatott szövetségi kapitánya volt és Rolff is követte öt segítőként.
2004 és 2013 között a Werder Bremennél segédedző. 2013-ban egy rövid ideig a csapat vezetőedzője is volt ideiglenesen. 2014-ben ismét Vogts mellett segédedző az Azeri válogatottnál, majd az Eintracht Frankfurt csapatánál lett segédedző.