Está situado en la parte más alta de la aldea, en el lado Nordeste, en una colina en forma de espolón, de 184 m de altura, que se eleva sobre la confluencia de dos afluentes del río Ardila, los arroyos Brenhas y Lavandeira.

Dominando la ciudad con lo que resta de sus torres y murallas, el castillo de Moura fue construido por los portugueses a principios del siglo XIV aprovechando las fortificaciones dejadas por los árabes. En la segunda mitad de este siglo se construyó una segunda valla amurallada para albergar a la población en aumento.

En el siglo XVI, D. Manuel I le encargó al arquitecto Francisco de Arruda algunas reformas, entre las que probablemente se encuentra la torre del reloj, que también data de esta época, el convento femenino de S. Domingos, que se encuentra dentro de la valla, ordenada por D. Angela de Moura en 1562, sobre los cimientos de la antigua mezquita. La iglesia del convento alberga la tumba manuelina de los hermanos Pedro y Álvaro Rodrigues, presuntos conquistadores de Moura.

Durante las Guerras de Restauración, en la segunda mitad del siglo XVII, la fortaleza medieval fue reforzada con una línea de baluartes y revellines, según el proyecto de Nicolau de Langres, adaptada a las nuevas técnicas de guerra con armas de fuego.

Del conjunto fortificado destacan la torre de homenaje rectangular y una torre circular a la que se le añadió un reloj en el siglo XIX.