Au cours de la débâcle des glaces de l'hiver 1434-1435, il subit d'importants dégâts entre l'ilot et le Châtelet. Une autre arche, située entre les Tourelles et l'ilot, disparaîtra un peu plus tard. En 1417, pour renforcer les défenses, une bastide en bois est construite sur la motte St-Antoine. Au cours du siège de 1429, quatre arches sont détruites.

Le pont continue ensuite à subir des dégradations à cause des crues et des glaces. En 1745, on fait appel à des ingénieurs de Paris, pour la section nord entre le Châtelet et l'ilot, qui menace de s'effondrer. En 1751, alors que la construction du nouveau pont a commencé, deux arches sont abattues et remplacées par des passerelles en bois. En 1760, le pont Royal est terminé et le pont des Tourelles est détruit.