A cet endroit, se dressait autrefois l’église Saint-Georges construite en 451. Childebert, fils de Clovis en fera une basilique abritant les reliques de Saint-Avit. Elle sera ravagée par le grand incendie d’Orléans peu avant l’an 1000. L’église, entre le siège de 1428 et les guerres de religion, sera plusieurs fois détruite et reconstruite. C’est après la révolution que le bâtiment central prendra vraiment forme pour diverses destinations : Prison, salle des fêtes, caserne…