Kiel ano de la partio UMP, Fillon fariĝis la Ministro pri Laboro de Jean-Pierre Raffarin en 2002, kaj plenumis polemikajn reformojn de la 35-hora laborsemajna leĝo, kaj de la franca pensia sistemo (Loi Fillon). Li fariĝis Ministro pri Edukado kaj Esplorado en 2004, kaj proponis la multedebatitan Leĝon Fillon pri Edukado. En 2005, la nova registaro de Dominique de Villepin ne inkluzivis lin, sed li elektiĝis kiel senatano por la departemento Sarthe. Lia rolo kiel politika konsilisto en la sukcesa prezidenta kampanjo de Nicolas Sarkozy gvidis lin al sia nuna posteno.
Kandidato al la malfermita primaro de la dekstro kaj centro de 2016, li subtenas liberalan-konservativan programon; Li venkas la duan baloton kontraŭ Alain Juppé kaj iĝas kandidato de sia partio por la prezidenta elekto en 2017.