Rolf Karlsen var en foregangsmann i norsk kirkemusikk. Han konserterte i inn- og utland, ledet mange norske førsteoppførelser av eldre musikk og var en drivende kraft i den kirkemusikalske fornyelsesbevegelse i Norge etter 1950.
Allerede i 12-årsalderen ble Karlsen elev av Arild Sandvold, som da var organist i Fagerborg kirke, og her fikk han spille ved søndagsskolen og ved aftensangen i kirken. Orgelundervisningen hos Sandvold førte frem til organisteksamen ved Musikkonservatoriet i Oslo 1931. Samtidig tok han examen artium ved Fagerborg gymnasium 1930. Han debuterte på orgel 1933 og på klaver 1935. 1937 ble han tilknyttet Filharmonisk Selskaps Orkester, en oppgave han ivaretok like til 1966. Her fikk han stor repertoarkunnskap og øvelse i å orientere seg i komplekse notepartiturer.
Sin første organiststilling fikk Karlsen i Høvik kirke i Bærum 1932, men det var med ansettelsen som organist i Ris kirke 1936 hans utvikling som kirkemusiker begynte for alvor. Inspirert av kirkerommet ville han styrke menighetssangen gjennom orgelspillet. Og nettopp det kvalifiserte liturgiske spill skulle bli et musikalsk kjennetegn ved Karlsen. Hans kirkemusikalske aktivitet i form av musikkandakter og kirkekonserter i Ris kirke vokste raskt. Et viktig hjelpemiddel var Ris Menighetskor, som han ledet fra starten 1938, senere også NRKs kammerkor, som Karlsen dirigerte fra 1946. En rekke konserter i Ris kirke under hans ledelse ble overført i radio i 1950-årene.
Under tiden i Ris utviklet Karlsen sin interesse for tidligmusikk og for en historisk korrekt oppførelsespraksis. Han deltok på flere seminarer for middelaldermusikk i Brugge, studerte barokk oppførelsespraksis i Basel og komposisjon hos Per Steenberg, Bjarne Brustad og Karl Andersen. Med denne faglige bakgrunn gav Karlsen en rekke konserter som i samtiden virket ganske utradisjonelle.
Karlsens musikkhistoriske orientering førte ham til det klassiske barokkorgel, og et mangeårig vennskap med Finn Viderø i København kom her til å få stor betydning. Likeledes fattet han interesse for cembalo og debuterte på dette instrumentet allerede 1945.
Etter den annen verdenskrig utviklet Karlsen en sterkere neoklassisk profil som favoriserte eldre tiders oppførelsespraksis. Typisk var bruk av små kor og små instrumentalensembler. Bachs Matteuspasjon ble fremført med bare 18 korsangere og liten orkesterbesetning, og Händels Messias med 16 sangere.
Foruten NRKs kammerkor ledet Karlsen mannskoret Fram 1935–46, Filharmonisk Selskaps Kor 1948–60 og Landskoret i Norges Kristelige Ungdomsforbund 1958–77. 1952 etablerte han Collegium Musicum, et ensemble med varierende antall musikere. Ensemblet ble et viktig hjelpemiddel for presentasjonen av så vel eldre som nyere musikk.
1960 ble Karlsen ansatt som organist i Trefoldighetskirken i Oslo, og seks rike år fulgte. Han hadde lenge vært betatt av kirkens prektige Claus Jensen-orgel (1858). I Trefoldighetskirken hadde han en omfattende konsertvirksomhet, og han oppførte her verker av Bach, Händel, Buxtehude, Monteverdi, Schütz og Praetorius, samt nyere verker av bl.a. Hugo Distler.
1966 avløste Karlsen Arild Sandvold som domorganist i Oslo domkirke og kantor for Oslo by, og han tok fatt på de mange oppgaver som stillingen ved hovedstadens domkirke og landets representasjonskirke medførte. Han hadde også tilsyn med orglene i byens kirker og var orgelkonsulent for 17 orgelbygg, heriblant også en større ombygging av domkirkens eget orgel 1972. I Oslo domkirke ledet Karlsen fremføringer av store helaftens kirkemusikkverk, med meget gode kunstneriske resultater, men som oftest med meget små økonomiske ressurser. Virksomheten hadde store positive ringvirkninger på historisk oppførelsespraksis i Norge.
Rolf Karlsen deltok aktivt i kirkemusikkorganisasjonene og hadde en rekke verv i Oslo Organistforening, Norges Organistforbund og Norges Kirkesangforbund. 1952 var han en av stifterne av Musica Sacra – Samfunn til kirkemusikalsk fornyelse, og var samfunnets formann inntil 1968. I Musica Sacra i Oslo etablerte han et kor, som i de første årene arrangerte mange musikkandakter og tidebønner, og han var hovedansvarlig for Musica Sacras sommerkurser fra 1955 frem til sin død.
Karlsen var lærer i kirkemusikk ved Musikkonservatoriet i Oslo 1935–73 og amanuensis ved Norges musikkhøgskole 1973–81. Han medvirket i Den norske kirkes offisielle liturgiarbeid og var medlem av Liturgikommisjon av 1965. Til en prøveordning for høymessen 1969 komponerte han en melodi til det fullstendige Gloria, som benyttes i Den norske kirkes nåværende høymesseordning.
Rolf Karlsen ble utnevnt til ridder av 1. klasse av St. Olavs Orden (1963), han var æresmedlem av Norges Organistforbund (1976) og av Internationale Heinrich Schütz-Gesellschaft (1973).