En Alpuente existen dos castillos: uno situado en la Villa y el otro situado a unos dos kilómetros de la aldea del Collado. Las ruinas del castillo de Alpuente están situadas sobre un gran peñasco, en el casco viejo del pueblo, rodeado de profundos precipicios. De aquella magnífica fortaleza quedan restos de procedencia romana y árabe: aljibes,cisternas, pozas y cámaras, pilas de piedra donde se picaba la pólvora...La parte mejor conservada del castillo es la Torre Albarrana, construcción de sillería que a pesar de los repetidos derribos mantiene unos diez metros de elevación. A los pies del castillo son visibles los restos de una iglesia medieval escavada en la roca. Además se conservan en el casco urbano restos de lienzos de la muralla integrados en las construcciones de la población.

Los restos del castillo del Poyo junto al Collado, se asientan sobre la cima de una montaña. Este castillo, al parecer de origen romano, jugó un papel importante durante las guerras carlistas, en las que llegó a albergar una academia de promoción del ejército carlista, de manera que su nombre quedó ligado a la historia valenciana. De él quedan algunos restos de amurallamientos pero ninguna torre.