El palacio surge entre el 1494 y el 1505 sobre preexistentes edificios medievales en la zona de Fossatelllo, posta al encuentro de varios importantes ases. Un gran portal de mármol del 1503, realizado por Michele y Antonio Carllone, está hoy conservado en Londres, en el Victoria and Albert Museum.

En el 1540 el cardenal Cipriano Pallavicini, hombre de gran cultura, pidió a los Padres del Ayuntamiento de poder renovar su casa en Fossatello. En aquella ocasión se agregó además un considerable ampliamente y regulación del perímetro de la plaza.

El cardenal quiso reconstruir un proyecto de Donato Bramante para un palacio romano, con bodegas en la planta baja y residencias en las plantas superiores.

La planta baja y el entresuelo de servicio están juntos en la fachada con una poderosa decoración de almohadillado rustico. Las ventanas están inseridas en el interior de una red arquitectónica definida de elementos del orden arquitectónico dórico gigante.

Pasado en el curso del setecientos a los Grillo y luego a los Saporiti, la vivienda llega ben 1840 a Federic Rayper, abastecedor de la Regia Marina sarda, que la renueva completamente la configuración arquitectónica para agregar apartamentos a redito: es en este momento que el edificio adquiere aspecto neoclásico con el cual se asoma a la plaza hoy.