El palacio y sus jardines, que datan del siglo XVI, han acogido a personas que, de una u otra manera, han dejado una huella imborrable en la historia de España y de Asturias. Desde las familias Valdés y Salas a las tropas de Napoleón pasando por ser convento de la orden de los Trapenses.