Construído numa grande elevação da Serra da Peneda-Gerês, a 1 033 metros de altitude, tem antecedentes anteriores à nacionalidade, ao tempo de D. Afonso III de Leão, e de ocupação muçulmana. Reconquistado por D. Afonso Henriques, a fortaleza estaria já edificada no reinado de D. Sancho I, sendo quase destruída pelas tropas do Rei de Leão em 1212. No reinado de D. Dinis, por volta de 1290, a fortificação foi reconstruída sob padrões góticos, ainda que apresente uma estrutura românica.

A fortificação implanta-se de forma ovalada adaptada à topografia da montanha e compreende dois núcleos: a norte e num plano mais elevado o núcleo militar de que faziam parte a torre de menagem, a praça de armas, a cisterna e duas portas; a sul e num plano inferior o recinto para recolha de gado a que se acedia por ponte em arco pleno.

São ainda visíveis os planos de muralha, as bases quadrangulares da torre de menagem e dois cubelos de feição gótica. As portas são também góticas de larga aduela e de rico aparelho de pedra.