In de dertiende eeuw begint men in Nederland te bouwen met baksteen. Iedere landheer met enige importantie – zo ook Zweder van Abcoude uit het geslacht Van Zuylen (vandaar de drie zuilen in het stadswapen van Wijk bij Duurstede) – wil dan een ‘stenen huis’. In 1270 laat Zweder op de plek waar het oude plaatsje Dorestad gelegen was het eerste bakstenen bouwsel optrekken. Het gaat om de Donjon, een verdedigbare woontoren.

In het midden van de 15e eeuw ging de heerschappij van de Van Abcoudes over op de bisschop van Utrecht. En Wijk bij Duurstede, in een vroegere periode een florerende nederzetting, werd in Europa opnieuw belangrijk. Dat had alles te maken met de komst van de Bourgondische bisschoppen. David, een bastaardzoon van Philips de Goede, werd tot de nieuwe bisschop van Utrecht benoemd. Maar hij kon niet in Utrecht zelf terecht omdat daar de door het volk gekozen Gijsbrecht van Brederode als bisschop resideerde. David vestigde zich daarom op Duurstede. Maar hij vond de enkele Donjon toren te pover en liet in de kortste keren het hele eiland uitbouwen tot een groot machtig kasteel, met de oorspronkelijk vierkante toren in het midden. Het telde in die tijd, zonder bijgebouwen, vijfenzeventig vertrekken.

Na 1470 was het kasteel vele jaren het centrum van macht, praal en pracht, van grootse feesten en bevordering van kunst en cultuur. David bracht er veertig jaar van zijn leven door. Hij werd opgevolgd door zijn halfbroer Philips. Deze bisschop stierf in 1524 en liet zijn boedel op Kasteel Duurstede na aan zijn opvolger. Maar die voelde niets voor het aanvaarden van de erfenis omdat hij dan ook de gigantische schulden moest betalen. De hele boedel werd dan ook geveild.

Nadat keizer Karel V kort het kasteel in zijn bezit had werd het eigendom van de Staten van Utrecht die geen geld hadden voor onderhoud. Het onbewoonde kasteel raakte snel in verval en verloor zijn stenen. De Fransen verwoestten in 1672 de binnenstad van Wijk bij Duurstede, maar lieten het verlaten kasteel ongemoeid.

In 1852 kreeg de stad Wijk bij Duurstede de ruïne in eigendom en werd er een stadspark omheen aangelegd. Maar op het kasteeleiland zelf vervielen de torens tot zorgwekkende staat. In 1883 en 1948 vonden restauraties aan de Bourgondische toren plaats. In 1986 kwam de oude vierkante Donjon aan de beurt. Eind 2013 werd de restauratie afgerond. Daarbij is veel metselwerk hersteld, nieuw natuursteen aangebracht en zijn de torenkruizen, de glas-in-loodramen en de schoorsteen hersteld. Het kasteel heeft de status van Rijksmonument en wordt door deskundigen beschouwd als één van de mooiste middeleeuwse kastelen van Nederland.