El castillo contaba con un doble recinto, situado a distintos niveles: uno de ellos, en la cima de la peña del Morral, destinado presumiblemente a la guarnición militar; el segundo, situado a los pies de la peña, protegía a la población, situada ente sus murallas y la pared de roca.

El recinto superior estaba protegido por dos de sus lados, el norte y el este, por las propias paredes verticales de la roca. Parece haber contado con tres torres, unidas entre sí por lienzos de muralla, que cerraban el acceso en las zonas más vulnerables. Una de las torres, la situada en la parte central, tenía mayor envergadura que las restantes; de planta cuadrada, y quizás construida con sillares, se ha especulado que su interior estuvo dividido en cuatro plantas. Las dos torres restantes se encontraban en los extremos del recinto murado, una al sureste y otra al noroeste, donde también se ubicaba el acceso al recinto.

Se conservan actualmente los restos de una de esas torres, de la que restan unas doce hiladas de sillarejo, trabadas por argamasa de cal, correspondientes a dos de sus lienzos. Recientes excavaciones arqueológicas han permitido localizar, a partir esta torre, diversos tramos muy arrasados de lo que debió ser la muralla de cierre, alguno de los cuales conserva aún restos del aparejo de sillería.

El recinto inferior, recorrería la base de la roca por el lado sur; parecen conservarse restos de su muralla de cierre en la base del santuario de la Virgen de la Peña. Guarnecería en su interior tanto algunos edificios de carácter comunitario (por ejemplo, la mezquita) como las propias viviendas, algunas de las cuales estarían construidas sobre la misma base de la roca, en cuyas paredes pueden apreciarse todavía varias hileras de huecos que habrían servido para insertar vigas de madera.