Hvitsten, tettbebyggelse i Vestby kommune, Akershus, på østsiden av Oslofjorden mellom Drøbak og Son, tidligere ladested. Hvitsten var ved ladestedenes opphevelse landets minste by (kommunestyre felles med Vestby); 0,07 km2 med 81 innb. (1950). Små trehus i bratt terreng ned mot fjorden. Hvitsten hadde stor trelasteksport på 1700- og 1800-tallet som lasteplass under Son tollsted. Skipsrederiet Fred. Olsen & Co er grunnlagt i Hvitsten, der Thomas Fredrik Olsen begynte sin virksomhet i farens skipsrederi. Utearealene i sentrale Hvitsten er utsmykket med gallionsfigurer fra en rekke Fred Olsen-båter. Hvitsten har på 1900-tallet vesentlig vært bade- og feriested. Hvitsten var mye besøkt av kunstnere (bl.a. Sigrid Undset, Th. Kittelsen og Ed. Munch).
Navnet kommer av norrønt Hvítistein; gårdsnavn flere steder rundt Oslofjorden og sikter nok til hvitaktige fjell el. steiner.