Le bâtiment, divisé maintenant en appartements, est sans doute la maison du bailli d'une ancienne cour seigneuriale, peut être celle de la reine de Hongrie au 14° siècle. Remanié à de multiples reprises, notamment aux 16° et 17° siècles, son histoire tourmentée est difficile à débrouiller; d'exceptionnelles fresques des 16°-17° ont été révélées lors du chantier.
Le jeune couple maître d'ouvrage avait des idées très nettes sur l'ambiance recherchée, et parfaitement en phase avec l'architecte, ont su créer une ambiance très particulière reposant sur la mise en valeur du patrimoine historique (beaucoup de vestiges ont été restaurés, remis en place voire complétés lors du chantier) mais très moderne et lumineuse dans son esprit