Participou na primeira guerra mundial e na guerra civil rusa que seguiu á revolución bolxevique de 1917. Durante os seguintes vinte anos, tivo ás súas ordes varias divisións militares e, progresivamente, foi escalando posicións no exército soviético. En xaneiro de 1940, pouco despois de iniciarse a guerra entre a Unión Soviética e Finlandia, foi nomeado comandante das tropas soviéticas que participaron no dito conflito. Tras esta guerra ascendeu a mariscal do Exército Vermello e, en maio daquel mesmo ano, comisario de Defensa. Tralo estalido da segunda guerra mundial, foi un dos militares soviéticos máis destacados e desenvolveu un papel preeminente na planificación do sistema de defensa ante a invasión do exército alemán.