Door middel van sloten en paden zijn in de aanleg van het park de contouren bewaard van de cirkelvormige grachten die het kasteel de Voorst in de 13e eeuw omgaven. De ronde burcht had een diameter van 50 meter met een voorburcht aan de noordzijde.
De heren van Voorst, die het kasteel rond 1280 hebben gesticht, behoorden tot het belangrijkste adellijke geslacht binnen het voormalige Oversticht. Door economische rivaliteit tussen de heren van Voorst en de stad Zwolle kwam het uiteindelijk tot een oorlog. Op 29 juli 1362 veroverde bisschop Jan van Arkel na een beleg van 15 weken met hulp van ridders en ingezetenen uit Zwolle, Deventer en Kampen het kasteel. De burcht werd afgebroken en met de grond gelijk gemaakt en is nooit meer opgebouwd.
Het kasteel bestond volgens het archeologische onderzoek uit 1981 uit een ronde hoofdburcht van 50 meter doorsnede en een trapeziumvormige voorburcht aan de noordzijde omgeven door een systeem van cirkelvormige grachten. Ter plekke zijn nog de contouren van de grachten en sloten te zien. Deze zijn teruggebracht door middel van aangelegde paden en sloten.