Lehenengo kirol taldea 1892an eratu zen. Hainbat kirol desberdin hartzen zituen bere baitan. Hasierako urteetan Sporting Club, US Phocéenne eta Football Club de Marseille izenak izan zituen. 1899an fozeatarrek Marseilla fundatu izanaren 25. mendeurrena ospatzen zenez taldea birsortu eta Olympique de Marseille izena jarri zioten, greziarren Joko Olinpikoak omendu nahian.
1911. urtean bi partida jokatu zituen Donostian sortu berria zen Real Sociedad taldearen aurka. Ondarretako futbol zelaian izan zen eta partida biak donostiarrek irabazi zituzten, 5-0 eta 3-0[1].
20. hamarkadan Frantziako talde indartsua bihurtu zen eta hiru kopa eta liga bat eskuratu zituen. Garai hartan taldea amateurra zen, Frantziako talde guztiak bezala. 1932an iritsi zen profesionalismoa eta Bigarren Mundu Gerraren aurretik Liga bat eta bi Kopa eskuratu zituen.
Gerra ondoren talde apala bihurtu zen. 1965ean Marcel Leclerc presidente izendatu eta lehenengo urrezko aroa hasi zuen 1969ko Kopako garaipenarekin. Ondoren iritsiko ziren beste 2 Liga eta 2 Kopa. Lecler gizon burugogorra zen eta Ligarekin istilu ugari izan zituen. Taldeak Ligaren aurka jarri baino Leclerc kanporatzea erabaki zuen 1972an. Honen ondoren krisi garaia bizi izan zuen Olympiquek eta bigarren mailara ere jeitsi zen.
1986an Bernard Tapie presidente bihurtu eta Frantzian inoiz ikusi izan den talde indartsuena osatu zuen. Europa mailako jokalari onenak fitxatu zituen, hala nola, Jean-Pierre Papin, Chris Waddle, Klaus Allofs, Enzo Francescoli, Abedi Pelé, Didier Deschamps, Basile Boli, Marcel Desailly, Rudi Völler eta Eric Cantona, bai eta kateoria handiko entrenatzaileak ere Franz Beckenbauer esate baterako. Lau liga jarraian irabazi zituen eta biribiltzeko Europako Kopa eskuratu zuen 1993an, Frantziako ezein taldek lortu ez duena. 1993an bertan ordea partiduen erosketak azaldu ziren eta urte horretan lortutako Liga txapelketa kendu egin zitzaion eta bigarren mailara jeitsi. Europan ere zigorrak jarri zizkioten, Superkopa eta Kontinente arteko Kopa jokatzea debekatuz.
1996an itzuli zen lehen mailara. 1999an UEFA Kopako finalista izan zen, bai eta 2004ean ere. 2005ean Intertoto Kopa irabazi zuen. Frantziako tituluak 2010an iritsi ziren, urte hartan Liga, Ligako Kopa eta Superkopa irabazi zituelarik. 2013an Ligan bigarren eta 2015ean 3. egin zuen. 2016an ordea 13.a izan da baina Kopako finala jokatu du. 2018an UEFA Europa Leagueko finala jokatu du baina Atletico Madrilek 3-0 emaitzaz garaitu du.
2019-20 denboraldian COVID-19 pandemiaren erruz Liga bertan behera gelditu zen eta une horretan Olympique bigarren zihoanez, postu hori eskuratu zuen.