Louis XI, qui avait marié sa fille au duc d'Orléans et qui aimait notre ville, fit restaurer l'église Saint-Aignan et lui redonna toute sa splendeur. Il décida alors de se faire bâtir une grande maison de briques et de pierres avec vue sur la collégiale.  Il y résidera jusqu'à peu avant sa mort.

Il fit fortifier cette maison par un immense mur d'enceinte. Presque paranoïaque et en quête de rédemption, Louis XI se fit même construire un tunnel pour accéder directement de sa bâtisse à la crypte de l'église Saint-Aignan. (Voir photos).