Паміж 1260 і 1283 гадамі гэтыя землі былі захопленыя тэўтонцамі, якія ў 1312 годзе пабудавалі недалёка ад вусця ракі Вэнгарапы з возера Мамры драўляны замак, названы Ангербургам, пры якім у 1335 годзе было створана паселішча. Замак быў разбураны ў 1365 і 1397 гадах войскамі Вялікага Княства Літоўскага. Новы замак будуецца ў 1398 годзе за 2 км на паўночны ўсход ад папярэдняга на рачным востраве. У тым жа годзе пры замку было створана паселішча рамеснікаў. У 1412 годзе ён і атрымаў гарадскія правы. У 1734 годзе ў замку гасцяваў карольСтаніслаў Ляшчынскі, калі збег з краіны пад напорам расійскіх войскаў, якія ўзвялі на трон Аўгуста ІІІ. З Вэнгажэва Станіслаў Ляшчынскі адправіўся ў Францыю. Да 1945 года горад быў чыгуначным вузлом, з якога разыходзілася пяць ліній (цяпер дзейнічае толькі адна, і тая толькі як таварная). Падчас Першай сусветнай вайны ў ваколіцах вяліся баі паміж нямецкімі і рускімі войскамі. У міжваенныя гады гэтая мясцовасць стала папулярным курортам і цэнтрам водных відаў спорту. У студзені 1945 года горад быў заняты войскамі III Беларускага фронту. Забудова горада была разбурана прыкладна на 80 % Савецкай Арміяй пры наступе.
