La residencia ha mantenido la misma disposición desde su construcción en la década de 1530 con un comercio en la planta baja y las habitaciones en las plantas superiores. Esta casa es un testimonio material de la vitalidad económica de los comerciantes del casco histórico de Rodez, como era el caso del patrocinador Hugues Daulhou.
Antaño, el casco histórico y la ciudad de Rodez estaban bien distinguidos y separados por una muralla.