Omstreeks 1754 koopt Johannes Bourcourd, eigenaar van het buiten Blankenburg, een afgebrande boerderij, die hij laat herbouwen. Lang kan hij er niet van genieten, want Bourcourd overlijdt in 1760 en het landgoed en de boerderij vererven aan zijn zoon Gabriël. Gabriël verkoopt Blankenburg, verandert de boerderij in een buitenverblijf en geeft het de naam ‘Rust en Vruegde’. Het is 1848 als een volgende eigenaar, Eduard van der Oudermeulen, dit huis laat vervangen door een nieuw huis in neoclassicistische stijl.

Omstreeks 1904 komt Rust en Vreugd in handen van Philippus van Ommeren en zijn echtgenote Alida de Voogt. Zij verwierven vooral bekendheid door hun liefdadigheid. Op Rust en Vreugd bieden zij dames die voor Tesselschade, een vereniging die vrouwen ondersteunt, werken vakantieverblijf in hun inmiddels verbouwde en gemoderniseerde landhuis. Voor zichzelf laten de Van Ommerens in 1923 op het landgoed een nieuwe villa bouwen. De Van Ommerens trekken zich ook het lot aan van standgenoten die buiten hun eigen schuld hun vermogen waren kwijtgeraakt. Hiervoor bouwden zij een appartementencomplex, het WAVO-park, op Rust en Vreugd. Ook werd er in 1928 het Johannahuis gebouwd voor oudere alleenstaande dames van goede stand en met beperkte financiële middelen. Philip van Ommeren overlijdt in 1945, tien jaar na zijn echtgenote. Beiden zijn evenals een neef en zijn vrouw op de particuliere begraafplaats (Rust in Vrede) op het landgoed, aan de voet van de dennenheuvel, begraven.

Het oude landhuis Rust en Vreugd doet na de oorlog dienst als internaat en rusthuis. Het wordt in 1987 gesloopt en op de plaats verrijst een modern appartementencomplex met dezelfde contouren.

Tot begin 1800 was de Rijksstraatweg niet meer dan een onverhard pad, de Zandzee genaamd. De hierop loodrecht aansluitende sloot en oprijlaan van Rust en Vreugd zijn de oudste nog herkenbare elementen van de tijd dat Rust en Vreugd als boerderij in gebruik was. Op de oudste kaarten uit 1822 zijn de eerste parkelementen te zien. Het landgoed bestaat uit bospercelen, weilanden en bouwland. Ook is er een vijver met eiland. Eén van de bouwpercelen vormt een lange zichtas, die – met in het midden een berceau van taxusbomen – voor een belangrijk deel nog aanwezig is. Met het vrijkomende zand van het graven van de zichtas is een heuvel opgeworpen, die later met dennen is beplant. Kenmerkend voor Rust en Vreugd nu zijn de door zwaar geboomte omzoomde oprijlanen, weidse uitzichten over grasland, maar ook intieme slingerende paadjes door een heuvelachtig binnenduingebied.