Op een prachtige locatie midden in het centrum van Breda staat al sinds de middeleeuwen een kasteel.

In 1350 koopt de Hollandse edelman Jan van Polanen de burcht van de hertog van Breda. Deze nieuwe Heer van Breda versterkt de burcht met een gracht en vier hoektorens. Het zo ontstane kasteel wordt in de verdedigingswerken van Breda ingepast. De laatste telg van het geslacht van Polanen, zijn kleindochter Johanna van Polanen, trouwt in 1403 met de Duitse edelman Engelbrecht van Nassau waardoor Breda incluis het kasteel in handen van deze voorname familie komt. Dit huwelijk vormt het begin van de band tussen Nederland en het huis van Oranje Nassau.

Engelbrechts zoon vergroot het kasteel kort na 1460. De nu nog bestaande Rekenkamer en Nassutoren stammen uit deze tijd. Zijn achterneef Hendrik III drukt vervolgens een zwaar stempel op zowel Breda als haar kasteel: hij laat het kasteel in 1536 verbouwen tot een indrukwekkend renaissancepaleis. Hij maakt zelf de voltooiing hiervan echter niet meer mee: hij sterft in 1538 en wordt opgevolgd door zijn zoon René van Chalon Deze maakte het werk van zijn vader af en bouwt in 1540 een prachtige Hofkapel.

Deze René de Chalon sterft echter ook vrij jong en blijft zonder kinderen. Het kasteel komt dan, samen met de titel Prins van Oranje, in handen van zijn elfjarige Duitse neef Willem van Nassau-Dillenburg, de latere Willem van Oranje die de beroemdste bewoner van het Kasteel zal worden. Tijdens de 80-jarige oorlog (1568-1648) ligt Breda in de frontlinie en het kasteel verwisselt regelmatig van eigenaar. De verovering met de list van het Turfschip (1590) spreekt daarbij tot de verbeelding. De 9 maanden durende belegering van Breda door Spinola in 1624 is voor de Bredase bevolking ook een ware martelgang. Bekend is het schilderij De Overgave van Breda van de Spaanse schilder Velasquez waarop Spinola en de gouverneur van Breda Justinus van Nassau, een onwettige zoon van Willem van Oranje staan. Voor Willem zelf is de grond in Breda dan al lang veel te heet onder zijn voeten geworden en hij wijkt uit naar Delft waar hij in 1584 vermoord wordt.

In 1667 wordt in het kasteel de Vrede van Breda getekend door vertegenwoordigers van Engeland, de Republiek der Verenigde Nederlanden en Frankrijk, waardoor er een einde kwam aan de Tweede Engelse Oorlog. Nederland staat hierbij Nieuw-Amsterdam af en krijgt zeggenschap over een deel van Zuid-Amerika. Een lucratief deel want de plantages in Suriname leveren veel meer geld op dan het nieuwe land in het noordelijke deel van Amerika. Stadhouder-koning Willem III bouwt tussen 1686 en 1695 het kasteel verder uit, waarbij het de naam Prinsenhof krijgt. Hij en zijn opvolgers verblijven echter maar weinig in het kasteel.

In de Franse tijd (begin 19e eeuw) doet het Kasteel van Breda dienst als kazerne en militair hospitaal.

Na de Franse nederlaag in 1815 ontstaat het Koninkrijk der Nederlanden, bestaande uit Nederland, België en Luxemburg. Breda ligt centraal in de Nederlanden en wordt uitgekozen als locatie van de nieuw op te richten Koninklijke Militaire Academie (KMA).

Koning Willem I stelt in 1826 het Kasteel van Breda hiervoor ter beschikking aan. Het renaissance paleis wordt van alle ornamenten ontdaan en omgebouwd tot een sober zakelijk kasteel met een militaire functie. In 1828 arriveren de eerste cadetten.

In 2028 viert de KMA zijn 200-jarig bestaan op deze locatie.