Il centro storico di Fermignano si sviluppa in età medievale attorno al Ponte e alla Torre.
E' da notare che per le caratteristiche dei piloni e per il tipo di materiale da costruzione (blocchi di pietra), il Ponte sembra essere di origine romana, anche se fortemente rimaneggiato nei secoli successivi. Su un lato del Ponte sorge una piccola cella che ospita un affresco del 1400 raffigurante la Madonna col Bambino.

Anche la Torre, posta a difesa del Ponte come importante luogo di transito, è di origine medioevale ed è stata rimaneggiata in epoca rinascimentale con un ornamento a beccatelli in mattoni. La Torre è un edificio a cinque piani costituito da quattro ambienti sovrapposti e collegati da una scala, più un seminterrato adibito un tempo a cella-prigione.

Il Castrum firmignani, castello del ducato di Urbino, aveva una forma grossolanamente quadrangolare ed era racchiuso da una cinta muraria. Tre erano le porte di ingresso: la Porta dell'orologio, che chiudeva fino al 1900 corso Bramante verso Urbino, la Porta della torre, che era l'ingresso a sud del castello, e la Porta del mulino, che probabilmente conduceva dalla zona della cartiera e del mulino al castello.

La via principale del centro storico è Corso Bramante, che collega la Torre a Piazza Garibaldi, attualmente la piazza principale della città. E' da vedere il portale di Palazzo Calistri, mentre nell’edificio attiguo si trova la “porta del morto”, recentemente restaurata.
Il centro antico, il cosiddetto Pianello, si sviluppa attraverso i vicoli che decorrono in direzione ortogonale rispetto al corso principale e comprende via Acqualagnini, che corre parallela a Corso Bramante.
Nel centro storico si trova inoltre Piazza Santa Veneranda con la Chiesa di S. Veneranda, ornata da un bel portale bugnato, eretta nel Cinquecento e rimaneggiata in stile barocco dopo il terremoto del 1781, e la Chiesa di S. Maria Maddalena, costruita nel Settecento.

Altro edificio storico importante era la stazione di posta romana situata in un antico edifico che i Fermignanesi chiamavano "Turdinone", di cui rimangono due bei portali gotici che si affacciano nella via principale del paese poco lontano dalla piazza centrale. E' stato invece di recente restaurato il lavatoio pubblico situato presso il ponte.

Fermignano, da Castello divenuta Terra e quindi municipalità autonoma da Urbino, per secoli era rimasta racchiusa nelle sue mura lambite dal fiume; alla fine dell'Ottocento comincia ad espandersi: viene abbattuta la Porta dell'orologio, creata l'attuale piazza Garibaldi con relativi palazzi e porticati, costruiti il nuovo edificio scolastico (1875) con annesso teatro (poi demolito per far posto all'attuale municipio) e il nuovo edificio comunale in corso Bramante (forse successiva al 1855); viene aperta via Mazzini con l'edificazione dei relativi edifici, dell'ospedale e del pastificio Falasconi e l'ampliamento dei quartieri circostanti; agli inizi del 1900 arriva la linea ferroviaria con la stazione e negli ultimi decenni si ha un poderoso sviluppo abitativo e industriale.

L'attuale edificio che ospita la residenza municipale in Piazza Garibaldi è stato costruito alla fine degli anni Sessanta del Novecento in seguito all'abbattimento di un vecchio edificio scolastico.