C’ était le siège d’ une baronnie, qui appartint à la famille de Peyrebrune, attestée depuis la seconde moitié du Xl ème siècle. Ses biens s’ étendaient de la vallée du Tarn et le Ségala oriental. Seuls restes d’un très vieux château, c’ est une tour qui domine de ses cinq étages tout le pays. Elle était entourée de fossés. L’abbé Lamouroux fit ériger au sommet une grande statue de la Vierge en 1898, ce qui indirectement l’a sauvée. depuis un pélerinage y’a lieu. Une église, probablement annexe de celle d’ Alrance, fut attestée au XII ème siècle.
Le château qui relevait du Comte de Rodez, fut cédé avec Thouels et Coupiac à Archarnbaud de Panat En fait les Panats n’auraient acquis qu’une partie de la seigneurie, puisqu’ils la partageaient au XV éme siècle avec la famille de Séverac. Ils percevaient un péage dans les environs. Leurs droits passèrent aux Levis (1428), puis aux Castelpers et enfin eux Brunet dits de Castelpers-Panat. Ces derniers gardèrent le château jusqu’à la Révolution. Leur gestion aurait laissé de mauvais souvenirs, ce qui expliquerait la tentative de démolition de la tour en 1848.