A chaque fois, le sanctuaire renaîtra de ses cendres, mais en 1667, rebondissement, l'évêque d'Orléans décide de remplacer l'église par un séminaire et la crypte tombera dans l'oubli. Comme le veut l'histoire, le séminaire connaîtra les affres de la Révolution et de l'Empire. Il deviendra tour à tour prison, atelier, caserne et sera rendu aux religieux en 1829.  En 1852, Mgr Dupanloup, évêque d'Orléans, fait entreprendre des travaux d'agrandissement du séminaire. Hé là, miracle, la crypte enfouie revient à la lumière du jour.

La crypte est de petite taille (9.50 mètres x 6.20 mètres) avec 3 petites nefs voûtées. Comme le veut la tradition, deux petites fenêtres autorisent les visiteurs croyants à voir ou toucher le sarcophage abritant la dépouille de Saint-Avit.