Huis Kernhem is in 1803 gebouwd op de ruïnes van een burcht. Dit was in de Franse Tijd. Het huis is gebouwd in de classicistische stijl. In de 12e, 13e en 14e eeuw hebben Geldersen en Stichtenaren (Utrecht) regelmatig met elkaar overhoop gelegen. Dit heeft de bouw van een groot aantal kastelen, burchten en versterkte huizen aan de rand van de veenmoerassen tot gevolg gehad. De burcht Kernhem bij Ede was een steunpunt van de Hertogen van Gelre. Het steunpunt werd meerdere malen in de as gelegd, maar versterkt weer opgebouwd. Tijdens de Tachtigjarige Oorlog viel de burcht in Spaanse handen.

Kernhem was een Gelders leen vanaf 1426. De leenman had de verplichting onder alle omstandigheden klaar te staan voor de leenheer. Udo de Booze werd leenman van Kernhem bij Arnoud, Hertog van Gelre. In de loop der tijd werden de leengoederen erfelijk. Invloedrijke heren van Kernhem waren de Van Arnhems en de Van Wassenaers. Later de Van Heeckerens en de Bentincks.

In de 19e eeuw is een van de opmerkelijkste bewoners Anna Maria Moens geweest. Zij gaf leiding aan een kostschool voor jonge dames van aanzien en bracht hen vaderlandsliefde, moederlijke liefde, godsdienstzin en huwelijkstrouw bij. De laatste bewoners vertrokken in 1968.

In 1970 kwam Huis Kernhem in bezit van de gemeente Ede. Het Huis was toen een ruïne, dus restauratie was geboden. De restaurateurs waren verbaasd over de constructie. Er was namelijk veel sloopmateriaal gebruikt. Doordat het grondwaterpeil zakte, was de paalfundering verrot. 74 betonnen palen van 7 meter lang vormen nu de fundering van Huis Kernhem. Er waren geen bouwtekeningen, de restaurateurs hebben de gegevens aan het gebouw zelf ontleend.