Suite aux guerres de religion, une nouvelle piété chrétienne se met en place, consistant notamment en actions charitables. En 1611, Charles-Henri de Clermont-Tonnerre fonde le couvent des Minimes accolé à l’antique église Saint-Nicolas, bâtie autour du XIIIe siècle. Pour cette édification, le comte autorise l’utilisation des pierres issues des ruines du château médiéval.
Lorsque la Révolution éclate, le couvent est vendu comme bien national.