La población y el castillo de Cantavieja, se asientan sobre una muela rocosa ofreciendo una espectacular vista estratégica de esta zona del Maestrazgo. El conjunto fortificado es de planta triangular y muy alargada, y aunque el castillo sufrió importantes daños durante las guerras carlistas del siglo XIX , aún se conservan extensos lienzos del recinto exterior formado por las murallas de mampostería donde se observan contrafuertes rectangulares y torreones, además de algunas aspilleras para fusiles. En el extremo se alzan los restos de un torreón circular construido en el siglo XIX sobre la base de uno medieval de planta rectangular; este fue usado como ermita hasta hace pocos años bajo la advocación del Calvario.  En el lado que mira a la población se encuentra un muro que cierra el patio del castillo con la puerta de acceso, todo construido en el XIX. El interior está arrasado y únicamente se encuentran en él catorce peirones con las estaciones del Via Crucis.