De eerste bewoners die we in de archieven tegenkomen zijn Philip en Jan van Geldrop, die omstreeks 1350 het kasteel bouwen. De volgende twee eeuwen was het kasteel in bezit van het geslacht Van Horne, maar het werd nauwelijks bewoond. Rond 1600 vestigde Amandus van Horne zich op een woontoren vlak naast het kasteel. In 1616 liet hij de middeleeuwse bouwvallen opknappen. Dit bouwwerk met de karakteristieke trapgevels vormt nu het middendeel van het huidige kasteel; aan de grachtzijde is het jaartal in de muurankers nog terug te vinden.