Davanti alla stazione ferroviaria di Fano, nella curva che da viale XII Settembre immette in via Pisacane, si trova l'edificio che un tempo (dal XVII al XIX sec.) fu convento dei "frati minimi" detti di San Francesco di Paola.

Tale edificio subì una radicale ristrutturazione e una parziale ricostruzione dal 1927 al 1932 per ospitare la caserma dei Carabinieri. Accanto al convento sorgeva la chiesa che fino a tutto il Cinquecento fu sotto il titolo di "Santo Spirito".
Colpita da bombe d'aereo nella seconda guerra mondiale è rimasta in parte ruderizzata.

Il suo bel portale di pietra d'Istria (del tardo Seicento) è stato smontato e collocato nella nuova chiesa di Tre Ponti dove si è trasferito il culto della Madonna della Colonna il cui santuario era stato demolito per esigenze militari nel 1940.
Del vecchio complesso di San Francesco di Paola resta il campanile: uno dei pochi non abbattuti dai tedeschi nell'agosto 1944. Esso pare attribuibile all'architetto fanese Prospero Selvelli (1773-1847) per le affinità con quello della già ricordata chiesa della Madonna della Colonna.

Attualmente (2009) la Chiesa è ristrutturata per usi abitativi e commerciali.