Castenmiller was als speler actief in het amateurvoetbal en deed de CIOS in Overveen. Na zijn spelersloopbaan bij VUC uit Den Haag te hebben afgesloten stapte hij het trainersvak in, met als eerste klus hulptrainer bij Holland Sport. Vervolgens was Castenmiller twee seizoenen eindverantwoordelijke bij de amateurs van GVV Unitas. In maart 1969 werd bekend dat hij met ingang van het aankomende seizoen trainer werd bij Hermes DVS uit de Tweede divisie, destijds de laagste divisie waarin betaald voetbal werd gespeeld.[2] Hier was hij twee seizoenen werkzaam, totdat Hermes DVS in 1971 werd teruggeplaatst naar de amateurs. Hij werd vervolgens aangesteld bij Eredivisionist Excelsior, waar hij de opvolger was van Bob Janse.[3] De ploeg uit Rotterdam was een jaar daarvoor voor het eerst naar de Eredivisie gepromoveerd en het was aan Castenmiller de taak om met de ploeg handhaving te bewerkstelligen. In zijn eerste seizoen eindigde de trainer met zijn ploeg op de vijftiende plek en werd daarnaast de kwartfinale van de KNVB beker bereikt.[4] Het volgende seizoen ging het echter mis; Excelsior eindigde op de een-na-laatste plaats en degradeerde naar de Eerste divisie.
De Hageneese trainer zat vervolgens een jaar zonder club, maar in 1974 keerde hij terug in de Eredivisie om Telstar te gaan coachen.[5] De ploeg beleefde onder trainer Castenmiller een sterk seizoen en eindigde op de zevende plek. Ze misten op doelsaldo plek vijf, wat recht gaf op deelname aan de play-offs om Europees voetbal. Wel werden ze die zomer uitgenodigd om deel te nemen aan de Intertoto Cup 1975. De jaren daarna ging de ploeg uit Velsen-Zuid telkens iets minder presteren. Dit was aanleiding voor de clubleiding om medio 1977 het aflopende contract van Castenmiller niet te verlengen.[6] Niet veel later werd hij aangesteld als nieuwe trainer van Fortuna SC uit Sittard.[7] Met de ploeg liep hij in het seizoen 1978/79 op een haar na promotie via de nacompetitie mis. Een jaar later verruilde hij zijn rol als trainer voor die van algemeen directeur. Dit bleek een goede zet. In 1982 promoveerde Fortuna Sittard naar de Eredivisie, in 1984 verloor de club de bekerfinale tegen Feyenoord en in 1984/1985 werd de kwartfinale van de Europacup II behaald. Na het seizoen 1987/1988 moest Castenmiller om gezondheidsredenen afscheid nemen van Fortuna Sittard. Begin jaren negentig was hij nog bestuurslid bij FC Den Haag.