Dit particuliere herenhuis werd waarschijnlijk gebouwd in de eerste helft van de 16e eeuw en behoorde oorspronkelijk toe aan de familie Cannelle, leden van de hogere middenklasse van de stad.
De naam Hôtel d'Uzès werd gekozen ter ere van de gravin van Tonnerre en hertogin van Uzès, Louise de Clermont, die hier vaak verbleef. Het gebouw was nauwelijks voltooid toen het in juli 1556 werd verwoest door een verwoestende brand. Het werd met nog meer pracht en praal herbouwd, waarbij deze prachtige sierlijke gevel met ramen met kruisbogen en een beugeltoren werd toegevoegd.
Het enige teken van de ramp is de inscriptie "NISI DOMINUS CUSTODIERIT DOMUM, FRUSTRA VIGILAT QUI CUSTODIT" boven de deur, wat alleen maar zin heeft in verwijzing naar Psalm 126: "Tenzij de Heer het huis bouwt, werken zij die het bouwen tevergeefs; tenzij de Heer de stad bewaakt, waken zij die haar bewaken tevergeefs". Tot het einde van de 18e eeuw was het gebouw eigendom van enkele vooraanstaande families uit de stad. Binnen deze muren werd in 1728 de Chevalier d'Éon geboren, de beroemde spion van Lodewijk XV. Alles veranderde met de Revolutie. Vanaf 1793 werd het huis omgebouwd tot gevangenis.
Ironisch genoeg zat de laatste eigenaar, Sieur de Chamon, hier tussen 1793 en 1794 gevangen. Aan het einde van de 19e eeuw kocht de Caisse d'Epargne het gebouw en begon aan een grote restauratiecampagne, die tot veel controverse leidde omdat de architect de spot dreef met de oorspronkelijke architectuur. Hij kreeg kritiek omdat hij twee gedraaide zuilen aan weerszijden van de deur had toegevoegd, omdat hij een campanile had gemaakt (die nu verdwenen is) tussen de twee dakramen in het centrale deel, omdat hij de dakpannen had vervangen door leisteen, omdat hij de raamstijlen had afgeschaft (de schuld van de belastingdienst, die vier traveeën vraagt voor een raam met raamstijlen!
) en vooral voor het aanbrengen van de datum 1533 in marmer als bouwjaar van het hotel, hoewel niemand de exacte datum kent en het oorspronkelijke gebouw in 1556 door brand werd verwoest. Het gebouw werd omgebouwd tot bank en in 1907 werd Georges-Henri Carré, een schilder uit Tonner, gevraagd om de directiekamer te decoreren. Hij creëerde grote bucolische taferelen geïnspireerd op de seizoenen, evenals een paneel op het bovenste deel van de gevel.