Jean Baptiste Charles Legendre de Luçay est né à Paris le 4 janvier 1754. Issu d’une famille d’ancienne noblesse du Gâtinais établie dans la capitale depuis la fin du XVII^ème siècle, il est le fils de Philippe Charles Legendre de Villemorin, comte de Luçay, conseiller au Parlement de Paris, administrateur des Postes et Fermier général, et de Marie Antoinette Bouret de Croix Fontaine.

Le 24 avril 1786, il épouse Jeanne Charlotte Papillon d’Auteroche, dame d’honneur du Palais et dame d’atours des impératrices Joséphine et de Marie-Louise, avec qui il aura deux enfants.

Jean Baptiste Legendre exercera lui-même les fonctions d’administrateur général des Postes (1776), de Préfet du Cher (1800), de Préfet du Palais du Gouvernement (Palais des Tuileries) (1802-1815) et de Premier Préfet du Palais Impérial. Il sera par ailleurs membre du Collège électoral et Conseiller général du Cher, de la Légion d’Honneur dès la création de l’Ordre en 1802. Enfin, il est fait comte de l’Empire par lettre patente le 14 janvier 1810.

Outre l’hôtel de la comtesse, rue D’Angoulême-Saint-Honoré (devenue rue de la Boétie, Paris 8ème) et l’hôtel particulier de la famille du 49 rue du Faubourg Saint-Honoré, le couple possède deux autres châteaux à Saint Gratien, petit village du département de la Seine dont M. de Luçay sera maire de 1808 à 1815.

C’est en 1806, que le comte et la comtesse acquiert le château du Maréchal Nicolas de Catinat. Dans le même temps, ils font ériger un « château Neuf », pour agréer, si l’on en croit la tradition, à l’Impératrice Marie-Louise qui trouvait la vue du château de Saint-Leu-la-Forêt un peu morne.