Volgens de overlevering schenkt graaf Floris V in 1288 land aan ene Willem Nicolaasz. (Hallinck). Deze zou hierop een huis hebben gebouwd. De oudste gevonden funderingen van Sypesteyn dateren echter uit circa 1500. In 1572 wordt Aert Abramsz. van Sijpesteijn beleend met huijsinge ende hofstede. In 1589 worden deze verwoest tijdens schermutselingen met de Heer van Mijnden. In 1664 koopt Cornelis Ascanius de ruïne van de principale Huijsinge ende hofstede. Hij laat Sypesteyn herstellen en noemt zich Heer van Sijpesteijn.

Al in 1673 wordt het huis tijdens gevechten tussen Franse troepen en soldaten van stadhouder Willem III weer verwoest. Het leen blijft in de familie die, tot de afschaffing tijdens de Bataafsche Republiek, zorg draagt voor de jaarlijkse leenhulde aan de Heren van Mijnden.
In 1804 verkoopt de eigenaresse de grond aan een van de bewoners van een boerderij op het terrein.

Rond 1900 koopt jonkheer Henri van Sypesteyn in 1901 de voorvaderlijke stamgrond terug. Op de fundamenten en met bouwmateriaal uit afgebroken historische gebouwen en kerken laat hij een sober stamslot herrijzen.

De laatste telg van het geslacht Van Sypesteyn richt zijn kasteel in als museum. Ter lering en vermaak. Hij brengt er de talrijke familieportretten onder, evenals zijn verzamelingen kunst en kunstnijverheid, waaronder het zeldzame Loosdrechts porselein.