OORSPRONG HET WITTE KASTEEL
Voor de oorsprong van Het Witte Kasteel moeten we terug in de tijd naar de late Middeleeuwen. In 1383 werd de heerlijkheid Loon op ’t Sant of Venloon, zoals de oude namen luiden, door hertogin Johanna van Brabant uitgegeven aan ridder Pauwels van Haestrecht. Deze ridder had grote plannen, want nog in hetzelfde jaar sprak hij in ’s Gravenhage over een huis en erf ‘da hi timmeren sal tot Lone’. Vier jaar later, in 1387, is er in een oorkonde van hertogin Johanna van Brabant sprake van de ‘borch van Venloen’. Deze ‘borch’ bestond uit een eenvoudige bakstenen woontoren van ongeveer 11 bij 13 meter met een muurdikte van 2 meter. De funderingen van het huidige kasteel dateren nog uit deze periode. Mogelijk is ook het fraaie ribloze keldergewelf uit deze tijd.
Loon op ’t Sant lag Pauwels van Heastrecht nauw aan het hart. Toen zandverstuivingen het dorp Venloon steeds meer bedreigden liet hij ‘zes boogscheuten’ naar het westen, vlakbij het kasteel, een nieuwe dorpskerk bouwen. Dit werd de kern van het tegenwoordige Loon op Zand.

EEN GROOTS KASTEEL
In de loop van de 15e en 16e eeuw werd de woontoren uitgebreid tot een groots kasteel. Waar nu de Engelse tuin is, stond een voorburcht die door middel van een overbouwde toegangsbrug met de woontoren in verbinding stond. Het uitgebreide grachtenstelsel rondom het kasteel en tuinen is hierdoor te verklaren. Aan de noordzijde werden ter verdediging aarden wallen opgeworpen. De restanten daarvan zijn nog duidelijk zichtbaar.
Personen zoals de Spaanse keizer Karel V, Frederik Hendrik in gezelschap van de dichter Constantijn Huygens (toen secretaris van Frederik Hendrik) bezochten het kasteel. De Zonnekoning Lodewijk XIV verbleef er enige tijd, tijdens de krijgstocht in 1672, het rampjaar, tegen de Republiek der Zeven Verenigde Provinciën. Ook Napoleon bezocht tijdens de Franse overheersing Het Witte Kasteel.

OMSTREEKS 1777
Het tegenwoordige aanzien van Het Witte Kasteel werd bepaald door een renovatie omstreeks 1777. Het geslacht Van Salm tot Salm, toen in het bezit van de heerlijkheid, gaf het kasteel de oorspronkelijke vorm van de woontoren terug. De voorburcht en de overbouwde toegangsbrug werden afgebroken. De ingang van de toren werd van de oostzijde verplaatst naar de noordzijde, waar een nieuw voorplein met bijgebouwen verrees (koetshuis en neerhuis). Ook het interieur werd aangepast aan de wensen die men in 18e eeuw had met betrekking tot comfort.
Die aangename rust werd in de Tweede Wereldoorlog ruw verstoord toen Het Witte Kasteel na beschietingen zwaar beschadigd werd. Een indrukwekkende restauratie, voltooid in 1950, gaf Het Witte Kasteel zijn oude verschijning weer terug.

OMSTREEKS 2007
In 2007 vond er een bezetting van het kasteel plaats toen de eigenaar, de miljonair Wim de Pundert, het kasteel dreigde te laten verloederen als de gemeente Loon op Zand niet zou meewerken aan een opknapbeurt. De ingrijpende plannen voor een verbouwing werden door de Rijksdienst voor Cultureel Erfgoed echter niet goedgekeurd. In 2014 droeg De Pundert Het Witte Kasteel over aan Stichting Het Witte Kasteel. De Stichting Het Witte Kasteel heeft met de hulp van een zestigtal vrijwilligers het gebouw met bijgebouwen en tuinen gerestaureerd en opgeknapt. Sindsdien fungeert het als trouwlocatie, feest- en vergaderlocatie en worden er kleine concerten en exposities gehouden. In de z.g. ‘neerhuizen’ aan weerszijden van het voorplein zijn een dagcafé en een vakantiewoning ondergebracht.