Hvitsten er en tettbebyggelse i Vestby kommune i Viken fylke. Tettstedet har et areal på 0,07 kvadratkilometer med 350 innbyggere og en del hyttebebyggelse. Små trehus ligger i bratt terreng ned mot Oslofjorden.
Hvitsten ligger på østsiden av Oslofjorden mellom Drøbak og Son og var tidligere ladested. Hvitsten var ved ladestedenes opphevelse landets minste by med 81 innbyggere (1950). Hvitsten hadde stor trelasteksport på 1700- og 1800-tallet som lasteplass under Son tollsted.
Skipsrederiet Fred. Olsen & Co er grunnlagt i Hvitsten, der Thomas Fredrik Olsen begynte sin virksomhet i farens skipsrederi. Utearealene i sentrale Hvitsten er utsmykket med gallionsfigurer fra en rekke Fred Olsen-båter.
Hvitsten kapell er ei langkirke i tre fra 1903 som ble gitt av skipsreder Petter Olsen og hans hustru Bolette.
Hvitsten var på 1900-tallet vesentlig bade- og feriested. Hvitsten strand med Sjøbodene og Emmerstadbukta ligger et par kilometer sør for sentrum. Hvitsten var mye besøkt av kunstnere; blant andre Sigrid Undset, Th. Kittelsen og Edvard Munch.
Navnet kommer av norrønt Hvítistein; gårdsnavn flere steder rundt Oslofjorden og sikter nok til hvitaktige fjell eller steiner.