Il palazzo sorse tra il 1494 e il 1505 su preesistenti edifici medievali nell’area di Fossatello, posta all’incrocio di importanti assi viari. Un grande portale marmoreo del 1503, realizzato da Michele e Antonio Carlone, è oggi conservato a Londra, al Victoria and Albert Museum.

Nel 1540 il cardinale Cipriano Pallavicini, uomo di grande cultura, chiese ai Padri del Comune di poter rinnovare la sua dimora in Fossatello. In quell’occasione si giunse anche a un considerevole ampliamento e regolarizzazione del perimetro della piazza.

Il cardinale volle rifarsi a un progetto di Donato Bramante per un palazzo romano, con botteghe al piano terreno e residenza ai piani superiori.

Il piano terreno e il mezzanino di servizio sono accomunati in facciata da una poderosa decorazione a bugnato rustico. Le finestre sono inserite all’interno di una griglia architettonica definita da elementi dell’ordine architettonico dorico gigante.

Passato nel corso del Settecento ai Grillo e poi ai Saporiti, la dimora giunge nel 1840 a Federico Rayper, fornitore della Regia Marina sarda, che ne rinnova completamente l’assetto architettonico per ricavarne appartamenti da reddito: è in questo momento che l’edificio acquista il prospetto neoclassico con cui si affaccia ancora oggi sulla piazza.