De características medievales y de planta rectangular, fue construido sobre los cimientos de las murallas romanas que rodeaban la población, sufriendo importantes mejoras, ya sea por Suevos, Alanos y Visigodos, o incluso por musulmanes que conquistaron la fortificación en el año 713. En la época de la reconquista cristiana, el Castillo de Chaves fue tomado por D. Afonso III de Leão que determinó su reconstrucción. La construcción de la Torre de Homenaje y otras mejoras en la estructura defensiva datan del reinado de D. Afonso III y se completaron durante los reinados de D. Dinis y D. Afonso IV. El 7 de diciembre de 1514 el Rey D. Manuel visitó el castillo.

La Torre de Homenaje mantiene el estilo medieval, gótico, con una planta cuadrada y con una altura de 28 metros, integrando cuatro niveles, con la planta baja albergando la cisterna. Los niveles restantes están construidos en bóvedas tipo cuna. La torre está coronada por merlones, almenas y pequeños balcones en los vértices, apoyados por matacanes. Se accede por una escalera de piedra y por una puerta arqueada de marco torcido, coronada por el escudo real con diecinueve castillos.

Todavía se pueden ver algunos planos de la barbacana medieval y del adarve, los cuales presentan una altura significativa, donde se abre una puerta en un arco perfecto y en la parte superior un mostrador rectangular y saliente con matacanes. Todo el conjunto estaba rodeado de murallas abaluartadas de la época de la restauración de la nacionalidad.