La Tour du Château est le vestige de l’ancienne demeure des seigneurs du lieu. Le château a été brûlé sous Louis XIII puis reconstruit après les guerres de religion du XVIème siècle.
Tantôt entre les mains des Catholiques ou des Protestants, le château fut finalement rendu en 1581, à la famille de Villeneuve. La famille Brunet, Marquis de Villeneuve posséda le château, jusqu’au 18 février 1862, date à laquelle le dernier descendant de la famille a vendu le château à Philippe Pons de Villeneuve.

Il devint ensuite la propriété de Marie-Joseph Louis Pons, Comte de Villeneuve et Lieutenant au 10ème régiment de dragons de Montauban, le 23 juillet 1913. Puis il fut vendu, à l’exception de la Tour Nord et le terrain y faisant face, à la commune de Villeneuve, représenté par le Maire Louis Peyrou. Le château tombant en ruine, il fut démoli en 1925. Plus tard, le Comte de Villeneuve fit don de la Tour (dernier vestige du château) et du terrain à la commune sous condition qu’elle soit conservée et entretenue. La parole donnée fut tenue et la Tour restaurée est désormais entretenue par la Commune.

Les remparts

Une muraille en pierre noire faisait le tour du village. Vers 990, la ceinture était composée de deux murs et fut remise en état afin de lutter contre les envahisseurs en 1336. Des souterrains partaient de la Tour du château jusqu’à la plaine. Il y avait la porte « Empayral » au nord et la porte « d’Orb » au sud. Aujourd’hui, on peut apercevoir encore quelques vestiges de cette muraille.