L'Ermitage a été construite fin XVIIIème, à l'écart du village d'où peut-être son nom. Cette demeure achetée en 1850 par Madame veuve Habert et elle est restée propriété de sa descendance depuis cette époque.

Au XIXème, cette famille, qui habitait Paris, venait ici, à la campagne.

La petite fille de madame veuve Habert : Marguerite Habert ( 1858- 1941), qui deviendra une madame Bardin, prenait, à Paris, des leçons de musique avec, comme professeur : César Franck. Celui-ci, accompagnant la famille Habert à la campagne, fit plusieurs séjours à l'Ermitage. Il se dit que c'est dans cette demeure, et plus particulièrement dans le salon de musique( ci-dessus,à droite),qu'il acheva, en 1879, l'oratorio " Les béatitudes ".


César Franck, ci-contre représenté par Jeanne Rougier à l'orgue de Sainte-Clotilde, a mis près de dix ans pour mener à bien son "oratorio grandiose" (comme il disait) : "Les béatitudes". L'oeuvre fut achevée en 1879, mais Franck ne devait jamais l'entendre jouer dans son intégralité. L'oeuvre complète ne fut créée qu'en 1891, sept mois après la mort du compositeur. Catholique convaincu, il dit une fois à un élève en indiquant le livret: "ce qu'il y a là-dedans, j'y crois!". Il fut déçu que l'on ne manifesta pas plus d'intérêt à l'égard de ce credo en musique, mais la postérité a confirmé le jugement de ses contemporains.

Cette propriété possède un puits, l'un des rares du quartier, et jusqu'en 1940 les habitants des alentours venaient s'y ravitailler. Ce puits existe toujours, et il est encore utilisé, au moins pour l'arrosage du jardin.
Pendant quelque temps cette maison fut louée. C'est ainsi que parmi les locataires qui se sont succédés il y eut Jacques Charrier, vers 1955-1960, après sa séparation d'avec Brigitte Bardot ; c'est là qu'il éleva son fils.