E' uno dei più antichi palazzi di Urbania; nulla rimane dell'originario edificio trecentesco né della copertura a mattoni dello spiazzo adiacente alla facciata del palazzo e del loggiato che collegava palazzo Amantini e Porta Celle (ora via Bramante e Ugolini).

L'attuale edificio fu costruito nel 1543, sui resti dell'antico palazzo medievale, da mastro Antonio di Pietro da Como su disegno di Gerolamo Genga. I lavori di ristrutturazione iniziarono nel giugno del 1543 e si conclusero definitivamente nel 1557.

Nel 1569 fu collocata sulla facciata una tavola raffigurante la Madonna col Bambino.

La costruzione della torre civica fu affidata a maestro Antonio Lombardo, che la lasciò incompleta; i lavori finirono nel 1579.

Nel 1561 con il metallo raccolto pubblicamente fu fuso il "campanone" dal sassoferratese Girolamo Onofri.

Nello stesso anno per volontà del duca Guidubaldo II la torre venne dotata di orologio; il lavoro fu affidato a maestro Stefano di Tirino da Gubbio, che lo consegnò nel 1563.

Nel 1814 l'orologio fu sostituito con quello del vadese Antonio Paolini.

Sulla facciata è murato lo stemma papale dei Barberini; si deve infatti a Urbano VIII, Maffeo Barberini, l'elevazione di Casteldurante a città e la concessione della diocesi nel 1636. In suo onore Casteldurante cambiò il nome con quello di Urbania.

Nell'atrio del palazzo sono murati stemmi cinquecenteschi dei Montefeltro, dei Della Rovere e di famiglie loro imparentate. Al primo piano, nelle pareti della sala consiliare, vi sono antiche lapidi che commemorano i principali eventi storici del Comune; sono da ricordare quella del 1424 di Guidantonio, conte di Casteldurante, e quella del conte Bernardino Ubaldini, benefattore di Casteldurante.