E' situato nel centro storico, in Corso Matteotti - Piazza Fulvi.

Attuale sede della Banca di Credito Cooperativo di Pergola, il palazzo appartenne in origine a Pandolfo Malatesta, signore di Fano. Della primitiva costruzione medievale, con fondamenta sopra le mura della città, restano soltanto alcune pietre squadrate poste a base d'angolo.

L'attuale costruzione, eccetto il portale, risale al XVIII sec. Evidente il gusto neoclassico delle facciate, divise longitudinalmente da una fascia ornamentale con fiori, fontane, leoni, maschere e aquile. Le finestre, tutte riquadrate, sono sormontate da un frontone a mezza luna al primo piano e da un timpano triangolare al secondo. Caratteristico anche il bel balcone d'angolo al secondo piano e una seconda fascia ornamentale più sottile sotto la gronda. All'interno, al piano nobile, si trovano alcuni saloni affrescati con quadrature e grottesche.