Wanneer het kasteel te Doornik precies is gebouwd en hoe het er toen uitzag, is niet bekend. Het kasteel moet er al gestaan hebben voor 1326. In 1649 was het kasteel vervallen geraakt. Bij een dijkdoorbraak in 1799 raakte het kasteel ernstig beschadigd en ergens begin 19de eeuw is het helemaal afgebroken. OP de voorburcht werd een nieuw huis gebouwd dat in 1823 bij een brand verloren is gegaan. In 1827 werd een nieuw huis gebouwd dat in 1944 is verwoest. De toenmalige bezetter had in en bij de boerderij een wapenopslagplaats die tijdens de gevechtshandelingen explodeerde. De boerderij die er nu staat is gebouwd in 1949.