De construção militar era outrora um Castelo fortificado pela posse de armas que continha, mas devido à doação à Família Cabral, passou a ser caracterizada por uma residência senhorial, perdendo assim as funções militares.
Uma das características principais do Castelo são as janelas manuelinas nele presentes e foi no Castelo que terá nascido e vivido alguns anos da sua vida o navegador Pedro Álvares Cabral e sua família, mas depois de um incêndio, tiveram que se mudar para a segunda residência, o Solar dos Cabrais.