Op de plek van Bruinhorst stond ooit een kasteeltje, dat in 1878 werd afgebroken door de toenmalige eigenaresse. Deze mevrouw S.E. Reiger-Fisler, uit Amsterdam afkomstig, bouwde een nieuw kasteeltje, met een toren en legde een park aan met vijvers en slingerende paden. Ze gebruikte het als zomerverblijf. Na haar dood in 1903 raakte het gebouw in verval en werd door een lokale timmerman aangekocht. Die verkocht het aan het begin van de Tweede Wereldoorlog aan de Nederlandse Staat. Aanvankelijk werden er arbeiders in ondergebracht in het kader van de sociale werkverschaffing, maar daarna werd het door de bezetter gevorderd als klein Durchgangslager voor joodse Nederlanders. In 1956 werd het huis ingericht om repatrianten uit het toenmalige Nederlands-Indië onder te brengen. 19 gezinnen vonden er onderdak. In datzelfde jaar deden de bewoners mee aan de landelijke staking, uitgeroepen door de BPRMS, de eenheidsbeweging die de belangen van de Molukkers in Nederland behartigde. In 1968 verliet het laatste Molukse gezin Bruinhorst. Dat werd vervolgens gerenoveerd en deed dienst als particuliere woning en zorginstelling.