D’origine féodale, le château de Margon a été profondément remanié au XVIe siècle. Les intérieurs furent remis au goût du jour au début du XVIIIe siècle. Les murs peints de personnages historiques, de paysages, ont retrouvé leurs couleurs.
Le jardin, créé au XVIIe siècle est de composition classique et structuré comme un jardin à l’italienne avec buffet d’eau, topiaires de lauriers sauces… D’importants travaux de restaurations sont réalisés chaque année depuis 1981. Depuis 1719, il s’est transmis de père en fils jusqu’à ce jour.