edro Álvares Cabral viveu em Santarém depois de ter recusado a capitania da armada que, em 1502, partiu para a Índia. Depois disso, não voltou a prestar qualquer serviço a D. Manuel. Nem a carta de Afonso de Albuquerque, de 1514, levou o rei a conceder-lhe nenhuma missão, apesar de se conhecer o seu valor e de continuar a ser paga a ele a elevada tença de 200.000 reais por ano.
O descobridor do Brasil viveu de forma discreta os seus últimos anos de vida com a sua esposa D. Isabel de Castro na sua casa situada junto da igreja da Graça, na qual terá falecido em 1520. Este é o ano mais provável de sua morte,

baseando-se em duas cartas de D. Manuel, datadas de 3 de novembro de 1520. Nelas, declarava que, em atenção aos muitos serviços prestados pelo falecido Pedro Álvares Cabral, a partir "do primeiro dia de janeiro da era de quinhentos e vinte e um em diante" deveriam ser pagas tenças anuais à sua viúva D. Isabel de Castro, no montante de 30.000 reais, e ao seu filho mais novo António Cabral, no montante de 20.000 reais. O fato de tais tenças, que serviam de pensão, serem pagas apenas a partir de 1521, revela que o falecimento ocorreu em 1520.
Além do mencionado António Cabral, que morreu sem ter deixado descendência, o descobridor do Brasil deixou mais cinco descendentes, tendo sido o filho primogênito Fernão de Álvares Cabral, que foi um fidalgo da confiança de D. João III. A sua última ação importante de Fernão foi o comando da armada que foi para a

Índia em 1553. Em 1554, na viagem de regresso a Portugal, a nau de que era capitão, a São Bento, naufragou na África do Sul, tendo ele vindo a morrer em 2 de junho desse mesmo ano, em Moçambique.
Pedro Álvares Cabral teve ainda quatro filhas. A mais velha foi D. Constança de Castro, que casou com Nuno Furtado de Mendonça, do qual não teve filhos. As outras três filhas chamaram-se D. Guiomar de Castro, D. Isabel e D. Leonor, tendo todas elas sido freiras.
O filho mais velho, Fernão de Álvares Cabral, casou com D. Margarida da Silva, de quem teve os seguintes filhos: Pedro Álvares Cabral, João Gomes Cabral, Rui Dias Cabral e D. Beatriz de Noronha.

Castelo de Belmonte Vista da Casa de Cabral, Casa do Brasil