Valdajas ciems pirmoreiz droši rakstos parādījās 1495. gadā kā Novgorodas Republikai piederoša apdzīvota vieta. Līdz 1764. gadam apdzīvotā vieta piederēja 1653. gadā dibinātajam Valdaja Iverska klosterim, kas atrodas uz salas Valdaja ezerā. 1770. gadā Valdaja ieguva pilsētas tiesības. Iedzīvotāju tradicionālā nodarbošanās bija zvanu un zvaniņu izgatavošana. Otrā pasaules kara laikā pilsētai tuvu atradās frontes līnija, tomēr Vērmahts to neieņēma.