La Tour du Château son los restos de la antigua residencia de los señores locales. El castillo fue incendiado bajo Luis XIII y reconstruido tras las Guerras de Religión en el siglo XVI.

A veces en manos de católicos y protestantes, el castillo fue finalmente devuelto a la familia de Villeneuve en 1581. La familia Brunet, marqueses de Villeneuve, fue propietaria del castillo hasta el 18 de febrero de 1862, cuando el último descendiente de la familia lo vendió a Philippe Pons de Villeneuve.
Pasó a ser propiedad de Marie-Joseph Louis Pons, conde de Villeneuve y teniente del 10º regimiento de dragones de Montauban, el 23 de julio de 1913. A continuación fue vendido, con excepción de la Torre Norte y del terreno situado frente a ella, al municipio de Villeneuve, representado por el alcalde Louis Peyrou. El castillo se encontraba en mal estado y fue demolido en 1925. Más tarde, el conde de Villeneuve donó la Torre (último vestigio del castillo) y los terrenos al municipio con la condición de que se conservaran y mantuvieran. Esta promesa se cumplió y la Torre restaurada es ahora mantenida por la Comuna.

Las murallas
Una muralla de piedra negra rodeaba el pueblo. Hacia 990, el cinturón estaba formado por dos murallas y fue restaurado para combatir a los invasores en 1336. Pasadizos subterráneos bajaban desde la torre del castillo hasta la llanura. Había la puerta "Empayral" al norte y la puerta "d'Orb" al sur. Todavía hoy pueden verse algunos restos de esta muralla.
