El castillo, de origen musulmán, se encuentra ubicado en la Loma que domina todo el pueblo a 371 metros de altitud, desde donde hay una  extraordinaria panorámica del entorno Sus cimientos, según la mayoría de historiadores, datan de la época de dominación romana.

Durante las Guerras Carlistas, el Castillo fue escenario de importantes enfrentamientos militares, destacando las dos Batallas de Chiva (1836 y 1837), siendo en ambas derrotadas las fuerzas carlistas.

En el Castillo, pueden apreciarse restos de muralla y de torres y además actualmente esta en marcha un proyecto de rehabilitación del mismo. Junto a las ruinas del Castillo, se encuentra la Ermita dedicada a la Virgen del Castillo, Patrona de la Villa, datada del siglo XVIII. Allí, se encuentra  la imagen de la Virgen, que es sacada en procesión durante las fiestas patronales.