La ricostruzione del Castello di Chaumont venne iniziata nel 1472 da Carlo I
d'Amboise e terminata nel 1511. Situato su un promontorio che domina la
vallata, Chaumont ha l'aspetto di un'imponente fortezza, mentre in realtà è un
castello fortificato solo nella parte nord-ovest
Un pò più in alto verso il Nord, Chaumont-sur-loire ha anch'essa il suo castello che ha preso il posto di un'antica fortezza abbattuta.
Fu costruito tra il 1465 e il 1510. Esso apparteneva alla Casa d'Amboise. Caterina de' Medici, avendolo acquistato nel XVI sec., vi fece installare, nella camera della Torre, un osservatorio per il suo astrologo.
Ella lasciò in seguito questa dimora ed obbligò Diana di Poitiers ad accettarla in cambio del Castello di Chenonceau. Il Castello di Chaumont ebbe ancora tra i suoi ospiti illustri, la duchessa di Bouillon, Madame de Stal, che, esiliata da Napoleone, trovò rifugio qui, infine i principi di Broglie.