En el siglo XI, el Hôtel-Dieu Notre-Dame, modesto albergue de peregrinos del Camino de Santiago, tenía una pequeña capilla dedicada a María. A lo largo de los siglos, el oratorio creció en tamaño e importancia, convirtiéndose en parroquia y luego en decanato. Fue en los siglos XVI y XVII cuando el monumento adquirió el aspecto que conocemos hoy, con su alta torre coronada por las inscripciones "Jesus Maria Ave Gacia" y las iniciales "CHC" de Charles-Henri de Clermont, conde de Tonnerre. Sin embargo, estas diversas transformaciones arquitectónicas no estuvieron exentas de problemas: en 1359, las tropas inglesas incendiaron la iglesia, al igual que las borgoñonas en 1414. En 1556, un gran incendio consumió de nuevo la iglesia (la base de la torre aún está negra de hollín) y el bombardeo de 1944 destruyó el tejado y las bóvedas.