Ole Krag var direktør for Kongsberg Våpenfabrikk og en fremtredende våpenkonstruktør. Sammen med børsemaker Erik Jørgensen utviklet han Krag-Jørgensen-geværet, det mest utbredte norske skytevåpen i moderne tid.
Krag vokste opp i Vågå, Fredrikshald og Eidsvoll. Han begynte som kadett ved Krigsskolen 1854, og etter eksamen 1857 var han noen år infanterioffiser og tok eksamen ved Den militære høyskole 1863, før han 1864 gikk over til artilleriet. 1866 ble han kontrolloffiseraspirant ved Kongsberg Våpenfabrikk (KV) og fikk der en videreutdannelse som gav ham tilnærmet full børsemakerutdannelse.
Krag ble kontrolloffiser ved Hovedarsenalets forandringsverksted i Christiania 1868, og 1870 overtok han som kontrolloffiser ved KV. Allerede kort tid etter at han var ferdig utdannet som kontrolloffiser, begynte han å arbeide med våpenkonstruksjoner. 1869–70 utviklet han et magasingevær som ble videreutviklet i årene som fulgte. 1876 ble dette geværet antatt av den norske marine under navnet Krag-Peterssons gevær.
1880 ble Krag utnevnt til direktør for KV. Han satt i denne stillingen til 1895 og øvde en sentral innflytelse på utviklingen av våpentekniske nyvinninger i Norge. I 1880-årene utviklet han magasiner til Jarmann-geværet (se Jacob Jarmann), som 1884 ble antatt som norsk infanterigevær. Krags gevær ble senere utprøvd i Danmark, dit en av KVs børsemakere, Erik Jørgensen, reiste for å demonstrere våpenet.
I samarbeid utarbeidet Krag og Jørgensen 1886 de første geværene som fikk navnet Krag-Jørgensens gevær, med en helt ny låsmekanisme og en ny magasinkonstruksjon. I de påfølgende årene fortsatte utviklingen av et for datiden svært moderne magasingevær. Krag-Jørgensen-geværet ble innført i Danmark 1889. Etter omfattende prøver ble en forbedret modell innført i USA 1892. Dette vakte atskillig oppsikt i den amerikanske våpenindustrien. Til tross for ytterligere prøver ble Krag-Jørgensen-geværet fortsatt vurdert til å være best. Produksjon av geværet ble gjennomført både i Danmark og i USA.
I Norge ble det gjennomført geværforsøk fra 1891. Gjennom flere år ble de beste tilgengelige geværer utprøvd. Etter inngående skyte- og mekanismeprøver ble Krag-Jørgensen-geværet 1893 anbefalt fremfor to utenlandske geværmodeller. 21. april 1894 ble endelig geværet formelt approbert, og produksjon ble satt i gang ved KV.
Krag-Jørgensen-geværet er uten sammenligning det våpen som har hatt størst utbredelse i Norge gjennom tidene. Gjennom 50 år frem til 1945 var dette geværet nærmest enerådende i vårt forsvar, blant våre skyttere og blant jegerne i landet. Flere generasjoner nordmenn fikk inngående befatning med våpenet ved militærtjeneste og skytterlagsvirksomhet. Geværet sørget også for at norsk våpenteknologi befestet seg i utlandet, først og fremst siden geværet ble antatt i et så våpenteknisk viktig land som USA. Krag ble utnevnt til ridder av St. Olavs Orden 1890, og han mottok også flere utenlandske ordener for sitt våpentekniske utviklingsarbeid.
1895 ble Krag utnevnt til oberst og felttøymester. I denne stillingen arbeidet han energisk for å bedre Hærens våpentekniske utrustning under den kraftige opprustning som foregikk omkring århundreskiftet.
Etter at han gikk av med pensjon 1902, var Krag like aktiv. Han overtok agenturer for utenlandske våpenfabrikanter, og han fortsatte også eget konstruksjonsarbeid. Hans pistolkonstruksjoner deltok i norske prøver mellom 1909 og 1914, men vant ikke frem. Under en reise til Frankrike 1916 for å vise sine pistoler ble Krag syk og døde.