John van 't Schip spelade högerytter och började som ungdomsspelare i Ajax. Han gjorde professionell debut i december 1981, och kom att tillbringa elva säsonger i Ajax' A-lag. Med Ajax blev han nederländsk ligamästare 1982, 1983, 1985 och 1990 samt nederländsk cupvinnare 1983, 1986 och 1987. Dessutom vann han Cupvinnarcupen 1987 och Uefacupen 1992. 1992 värvades han av italienska Genoa, där han avslutade spelarkarriären efter fyra säsonger, varav den sista i Serie B.
Med nederländska landslaget spelade van 't Schip 41 landskamper och gjorde 2 mål. Han gjorde debut mot Skottland i april 1986 och spelade sin sista landskamp i en EM-kvalmatch mot Vitryssland i juni 1995. Van 't Schip var med i EM 1988 och 1992 samt VM 1990.
Efter spelarkarriären har John van 't Schip varit ungdomstränare i Ajax samt huvudtränare i FC Twente. Mellan 2004 och 2008 var han assisterande förbundskapten vid sidan av Marco van Basten i nederländska landslaget.