Le quai sera construit sur l'emplacement de l'ancien Palais du Châtelet et sur la première muraille de la ville. Le palais du Châtelet sera détruit entre 1799 et 1804 (certaines de ses pierres seront réutilisées pour construire des maisons à proximité).

Dans le mur de soutènement du quai, à quelques pas du pont, dans la muraille, se dessine une entrée de souterrain fermée par une grille et accessible par un escalier tout proche. Au 18ème siècle, le port d'Orléans connaissait une activité intense. Le déchargement des marchandises à l'entrée de la ville était handicapé par la présence de la forteresse du Châtelet qui fleurtait avec la Loire. En 1786, lors d'importants travaux sur le quai, on perça ce souterrain qui aboutissait directement dans les rues voisines (Pierre Percée et rue des Hôtelleries) afin de décharger plus facilement les bateaux de Loire en passant sous les murailles de la forteresse.