Durant el segle XIV s’hi va fer una reforma que el va convertir en palau i el segle XVI, es va ampliar sobre la base dels murs de la muralla est. Ja al segle XVIII es van construir les quadres que enllacen la torre nord-est del recinte i també es va ampliar la torre de l’homenatge fins a assolir l’actual volum. El castell ha evolucionat des de la seva forma primigènia, de marcat caràcter militar, a la seva transformació en palau.
A partir del segle XIX, l’edfici va compaginar usos privats amb els usos socuals i públics però no va ser fins a la década dels 50 que el Ministeri d’Educació el va adquirir i va fer la primera restauració.