Il castello fu costruito alla fine del XV secolo dai signori di Caumont sulle rive della Dordogna.
Completamente abbandonato all’inizio del XX secolo, a seguito di un incendio, il maniero rinacque grazie all’acquisto di Auguste Claverie, produttore di lingerie, che aggiunse gli elementi di stile neogotico e rinascimentale.
Negli anni ’30, il maniero verrà nuovamente rivisitato quando Josephine Baker, artista del cabaret e amata attivista, ne farà la residenza per se stessa e per i suoi dodici figli adottivi.
Alla fine degli anni ’60 il castello andrà all’asta a causa dei problemi finanziari della Baker, poi costretta anche a lasciarlo.