Le palais a été construit entre 1494 et 1505 sur des bâtiments médiévaux préexistants dans la zone de Fossatello, située au carrefour de routes importantes. Un grand portail en marbre datant de 1503, réalisé par Michele et Antonio Carlone, est aujourd'hui conservé au Victoria and Albert Museum de Londres.

En 1540, le cardinal Cipriano Pallavicini, homme de grande culture, demanda au Padri del Comune l'autorisation de rénover sa résidence de Fossatello. À cette occasion, le périmètre de la place fut considérablement agrandi et régularisé.

Le cardinal souhaitait s'inspirer d'un projet de Donato Bramante pour un palais romain, avec des ateliers au rez-de-chaussée et une résidence aux étages supérieurs.

Le rez-de-chaussée et la mezzanine de service sont unis en façade par un puissant décor de pierre de taille à bossage. Les fenêtres s'inscrivent dans une trame architecturale définie par des éléments de l'ordre architectural dorique géant.

Passée au cours du XVIIIe siècle à la famille Grillo, puis à la famille Saporiti, la demeure est devenue en 1840 la propriété de Federico Rayper, fournisseur de la marine royale sarde, qui en a complètement rénové l'agencement architectural afin d'obtenir des appartements à revenus: c'est à cette époque que l'édifice a acquis la façade néoclassique avec laquelle il donne encore sur la place.