Foi durante o período da Idade Média, que corresponde à expansão e consolidação das fronteiras de Portugal, que a construção de castelos de defesa foi mais prolífica. Progressivamente, estas estruturas foram sendo abandonadas, com especial enfoque nas zonas mais afastadas dos limites com Espanha, em virtude de o território português se encontrar definido.
Apesar de muitos destes monumentos não serem alvo de reabilitação há muitos anos, ainda se encontram alguns exemplares em bom estado de conservação, como é o caso do castelo de Penedono, na Beira Alta, em Viseu.
Esta fortificação construída em granito e xisto tem uma forma hexagonal e remonta ao século X. Também conhecido como Castelo do Magriço, em virtude da alcunha conferida a Álvaro Fernandes Coutinho, um dos Doze de Inglaterra que Camões louva n’Os Lusíadas, este monumento tem também uma lenda associada.
A configuração do castelo como é conhecida atualmente data do final do século XIV.
A lenda das duas pedras brancas referia-se à existência de duas pedras brancas misteriosas na fachada do castelo que seriam a tampa de duas caixas misteriosas deixadas por uma moura que habitou o castelo. Reza a lenda que numa delas estaria escondida um tesouro, mas que quem abrisse a caixa errada libertaria uma maldição sobre as terras ao redor do castelo.
Embora alguns castelos fossem usados como residências permanentes ou temporárias, a sua função principal era a defesa do território e, por esse motivo, a sua construção não obedecia a grandes confortos para os habitantes.
Com o passar dos anos, foram substituídos por palácios e casas senhoriais, e às vezes até esquecidos, quando as comunidades se mudavam para áreas mais centrais e mais acessíveis para a agricultura e, sobretudo, para o comércio.
As exceções foram os castelos de fronteira, que continuaram a ser necessários para a defesa dos limites do país, complementados pelos fortes construídos em pontos estratégicos das localidades fronteiriças.
Penedono permaneceu vários anos como castelo fronteiriço, mas no ano de 987 a localidade foi invadida pelos exércitos de Almanzor. O castelo foi reconquistado aos mouros pelas forças de Fernando I de Leão entre 1055 e 1057.