Avant de devenir propriété des comtes de Fésigny, le château tire son nom du bas-latin Ruga, sillon, en patois rouà, chemin. La dénomination rua se transformera en Ruaz.

Construit vers 1380 par le seigneur de la Ruaz et des Daudes, c’est à l’origine une maison forte à laquelle seront ajoutées plusieurs constructions au cours des siècles.

En 1607, Jacques, fils de Jean Vincent de la Ruaz, épouse Diane de Valence, héritière des Fésigny. Il prend alors le nom et les armes de cette famille, d’où le nom actuel de château de Fésigny.

Le château est composé d’un grand bâtiment de forme rectangulaire, flanqué coté amont de deux tours carrées.

Au XVIIe siècle, ont été édifiées en contrebas, deux petites tours rondes dont l’une servait de pigeonnier, privilège de la noblesse ; sur leurs toits, on peut voir deux girouettes, représentant l’une un chasseur et l’autre un lapin, qui donnent une information météorologique : lorsque le lapin est derrière le chasseur, c’est le beau temps, lorsque le chasseur poursuit le lapin, c’est signe de mauvais temps.

Le château est inscrit depuis le 22 juin 1993 à l’inventaire supplémentaire des Monuments Historiques pour ses façades et toitures, les deux plafonds peints du 1er étage et les deux tourelles de son parc.