Volgens een kaart van het Hoogheemraadschap Delfland, vervaardigd door Cruquius in 1712, stond op de plek van de huidige buitenplaats Zeerust al bebouwing. De hoeve die hier lag, ontwikkelde zich in de loop van de 18e eeuw tot een classicistisch buitenhuis, compleet met koetshuis, stallen, een tuinmanswoning, kassen en een theekoepel met uitzicht over de Vliet. De tuin bestond niet alleen uit een siergedeelte met vijver en fontein, maar omvatte ook moestuinen, boomgaarden en boomplantages. In de eerste helft van de 19e eeuw werden daar een perzikkas en een dierenverblijf aan toegevoegd.

Aan het einde van de 19e eeuw werd de Vliet verbreed. Hiervoor moesten delen van het landgoed wijken, waaronder een stuk van de tuin, de theekoepel langs de weg en het oorspronkelijke herenhuis. Het voormalige koetshuis bleef echter behouden en is nog altijd zichtbaar vanaf de Westvlietweg. Verder van de Vliet af werd een nieuw huis gebouwd in eclectische stijl, dat tot op de dag van vandaag bestaat.

Een van de bekendere bewoners van Zeerust was minister van Koloniën Baud, die er tussen 1875 en 1880 verbleef. Zijn kleindochter trad later in het huwelijk met Louis Couperus.

Sinds de jaren zeventig van de 20e eeuw is Zeerust in gebruik als tehuis voor mensen met het syndroom van Korsakov.

Van de oorspronkelijke tuin is tegenwoordig weinig bewaard gebleven; alleen de moestuin en de boomgaard zijn nog deels intact. Wel is er in 2020 een reconstructie gemaakt van de parkaanleg in vroege landschapsstijl, waarbij het bos is uitgedund en nieuwe bomen en struiken zijn aangeplant. Het parkgedeelte van Buitenplaats Zeerust bestaat nu uit een bosgedeelte, een vijver, een moestuin en een gazon. In de moestuin zijn nog oude rassen van fruitbomen te zien.