Rond het jaar 1050 wordt op de hoge Maasoever in Kessel een toltoren gebouwd. Vele jaren later wordt deze toren vervangen door een kasteel dat in de loop van de eeuwen verder wordt uitgebouwd. Daarmee is Kasteel De Keverberg een van de oudste kastelen van Nederland. Door de eeuwen heen is het kasteel in diverse oorlogen vaak belegerd en daarbij geheel of gedeeltelijk vernield en weer opgebouwd. Zo ook in de Tweede Wereldoorlog.
In juli 1944 wordt boven de Peel een vol beladen Engelse bommenwerper aangeschoten die daarna vlak bij het kasteel in de Maas neerstort en ontploft. De schade die daardoor in de kern van het dorp en aan het kasteel wordt aangericht is groot. De schade wordt vervolgens provisorisch hersteld en het kasteel blijft bewoond door de zusterorde die er sinds 1880 is gevestigd.
Op 17 november 1944 wordt het kasteel, samen met de nabijgelegen parochiekerk, door de Duitsers opgeblazen en vervolgens in brand gestoken. Het waarom van deze daad is niet duidelijk. Is het pure vernielzucht of vreesde de Duitser dat het hooggelegen kasteel kon dienen als oriëntatiepunt voor het geschut van de geallieerden? We weten het niet. Op 19 november 1944 wordt Kessel bevrijd door de Gordon Highlanders. Daarna liggen het kasteel en het dorp maandenlang in de frontlinie die door de Maas werd gevormd. Op de westelijke oever lagen de Engelse legers en op de oostelijke oever de Duitse.
Het kasteel ligt midden in het dorp en daardoor heeft de bevolking de vernieling heel intensief beleefd. De zusters die tijdens de oorlog het kasteel bewoonden waren nauw verbonden met het dorp, meerdere onderduikers vonden bij hun een veilig onderdak. Ook gaven de zusters onderwijs aan de plaatselijke lagere school en verzorgden zij de ziekenzorg in het dorp.
De kasteelruïne en de tuin worden uiteindelijk gekocht door de Gemeente Kessel (nu Gemeente Peel & Maas). Na diverse pogingen die niet succesvol zijn wordt het kasteel in 2014/2015 herbouwd en opnieuw in gebruik genomen. Zowel de herbouw als de huidige exploitatie van het gebouw zijn gebaseerd op een vruchtbare combinatie van vrijwilligers en professionals.
