Este solar de arquitetura pombalina com a estrutura do barroco aristocrata do século XVIII faz parte da história do Torrão.
A primeira data que refere o palácio (na altura Palácio do Poço Mau) é 1778 quando é confiscado à família dos duques de Aveiro e a Frei Miguel de Távora e entregue à Igreja. No século XIX passa a pertencer ao visconde do Torrão, Jerónimo de Magalhães Salema, senhor de propriedades na Lousã e bacharel em direito, casado com uma descendente dos Morgado do Poço Mau, a quem a casa tinha pertencido. O título de visconde é concedido pelo rei D. Pedro, em 1855.
O solar no século XX volta a estar nas mãos da Igreja que o troca pelo Convento de São Francisco, da Santa Casa da Misericórdia do Torrão.
Em 1996 começa a ser recuperado e em 1998 o lar da terceira idade ocupa uma parte das instalações.