Het huis te Jaarsveld is een voormalig kasteel in Jaarsveld, vandaar de naam. Het kasteel werd ook wel Veldestein genoemd. De naam van het huis duikt voor het eerst in de boeken op in de veertiende eeuw. In zijn lange bestaansgeschiedenis heeft het Huis te Jaarsveld niet altijd geluk gehad. Hoewel het kasteel een enorme veerkracht kende, heeft de laatste van drie verwoestende rampen het kasteel uiteindelijk de das omgedaan.
De eerste verwoesting van het kasteel was tijdens de Jonker Fransenoorlog (1488 tot 1490), dat is de laatste fase van de Hoekse en Kabeljauwse twisten. De toenmalige heer van Jaarsveld Jan van Vianen stond aan de kant van de Hoeken. Dit maakte het Jaarsveldse kasteel tot een Hoeks bolwerk. Toen de Kabeljauwen de overhand kregen belegerden zij het kasteel in 1489. Het kasteel werd flink beschoten en al snel gaf Van Vianen zich gewonnen. Floris van Egmond, de aanvoerder van de Kabeljauwse belegeraar, kreeg als dank voor de geleverde strijd het kasteel toegewezen. Maar niet lang.
Vier jaar later kreeg Jan van Vianen zijn kasteel terug. Veel geluk had hij er niet mee. In 1511 was het opnieuw raak. Dit maal werd er door een bende Utrechtse burgers geplunderd en raakte het kasteel beschadigd.
Blijkbaar beviel Jaarsveld hem goed want in 1518 koopt Floris van Egmond het kasteel weer. Dertig jaar later wordt kasteel Jaarsveld geërfd door Anna van Buren, de eerste vrouw van Willem van Oranje. Hun zoon Philips Willem van Nassau woonde er. Het kasteel was toen weer opgeknapt.
Na anderhalve eeuw van voorspoed betekende het Rampjaar 1672 de genadeslag voor het kasteel. In dat jaar werd Jaarsveld verwoest door Franse troepen. Eerst was het kasteel geplunderd, maar later staken de Fransen het ook in brand toen hen ten ore kwam dat het Staatse leger zich zou schuilhouden op het kasteel.
Na deze catastrofe is kasteel Jaarsveld niet meer opgebouwd. De ruïnes herinnerden aan de het oorlogsgeweld. De toren stond nog wel overeind, zoals ook de tekening laat zien. Die deed nog een tijdlang dienst als gevangenis.
De ruïne en het landgoed lagen er verslagen bij. Maar dat bleef niet zo! Halverwege de zeventiende eeuw kreeg Jaarsveld een nieuwe eigenaar. Een eigenaar met een bekende naam, Cornelis de Witt. Deze Cornelis was de kleinzoon van raadspensionaris Johann de Witt, die in het Rampjaar was vermoord door de prinsgezinden. De Witt bouwde een nieuw huis te Jaarsveld, een stukje van het vroegere kasteel vandaan. De toren liet hij slopen en de brokstukken van het oude kasteel van het kasteeleiland werden weggehaald en vervangen door een boomgaard.
Het huis dat De Witt bouwde staat er nog, hetzij uitgebreid en aangepast aan de moderne tijd. Huis te Jaarsveld is tegenwoordig een gerieflijke buitenplaats, waar niets herinnert aan de drie rampen die de plek heeft doorstaan.
