La Chiesa di Sant'Agostino occupa il settore settentrionale della città, il punto in cui in epoca romana sorgeva un imponente edificio pubblico identificato secondo alcuni studiosi con la Basilica di Vitruvio, secondo altri, con il Tempio della Fortuna. In origine però la chiesa era titolata a Santa Lucia, una parrocchiale di cui si ignorano le origini e la struttura.

Soltanto nel 1265 la chiesa venne concessa - assieme ad alcune annesse abitazioni - dal Capitolo della Cattedrale ai frati Agostiniani di Santo Stefano in Padule, i quali vollero subito adoperarsi nella costruzione di un convento e nel rinnovamento della vecchia chiesa.

Un secondo intervento risale ai primi anni del XV secolo, quando, secondo le fonti, la chiesa venne ricostruita per poi essere riconsacrata nel 1409. Nella seconda metà del XVI secolo, un terzo radicale intervento, determinava la ricostruzione del chiostro conventuale, l'inversione dell'orientamento della chiesa e in luogo delle absidi rettilinee si innalzava una profonda cappella centrale e due piccole laterali.

Un secolo dopo, nel 1640, il pittore pesarese Giulio Cesare Begni si apprestava ad affrescare le ventotto lunette del chiostro e l'architetto fanese Ludovico Giorgi ad ammodernare l'interno della chiesa. I nuovi lavori prevedevano l'occultamento della copertura a capriate mediante un'ampia volta e l'imbiancatura delle pareti che vennero arricchite di cornici, stucchi e sculture dell'Amantini - di cui si menzionano due statue di San Bartolomeo e Santa Maria Maddalena eseguite tra il 1672 e il 1675 - il tutto secondo un gusto tipicamente Tardomanierista fortemente in ritardo rispetto al contemporaneo stile Barocco. Nel 1672 un terremoto atterrò la torre campanaria, la quale venne immediatamente ricostruita. Nel 1685 fu portata a termine la grande volta a padiglione in cui Ferdinando Bibiena, forse in collaborazione con il fanese Giambattista Manzi, affrescò la scenografica prospettiva architettonica rappresentante Sant'Agostino in gloria, purtroppo andata perduta durante l'ultima guerra.

Nel XIX secolo a causa delle soppressioni Napoleoniche, gli Agostiniani abbandonarono il convento, il quale dal 1912 diverrà sede del Seminario Diocesano. Nel 1922, per ragioni statiche si provvide alla demolizione della pericolante torre campanaria e solo otto anni dopo un nuovo terremoto compromise definitivamente la stabilità del complesso. A conclusione di tale graduale rovina, i bombardamenti della seconda guerra mondiale fecero il resto, poiché determinarono la distruzione della parte nord - occidentale della chiesa.

Sebbene non esistano riproduzioni relative all'antico prospetto della chiesa (quello medievale venne abbattuto secoli fa), possiamo comunque immaginare un profilo a capanna come suggerito dalla copertura interna a capriate e dal moderno assetto del prospetto che risulta essere la ricostruzione di quello cinquecentesco. Del corpo architettonico tutto in laterizi è tuttora visibile dell'originaria struttura medievale il lato nord - orientale, nonostante rechi tracce di campagne costruttive differenti. Tale muro risulta coronato da una doppia fila di archetti pensili che corre ininterrottamente lungo tutta la lunghezza del fianco. La fascia superiore è la più antica, ed è costituita da archetti intrecciati in terracotta poggianti su piedritti, particolarmente usati per coronare edifici religiosi o campanili soprattutto dal XIII secolo in poi; la fascia sottostante è indubbiamente più tarda. La superficie muraria è scandita da sottili lesene equidistanti che individuano alternativamente porzioni murarie piene ed altre aperte a monofore strombate con intradosso trilobato.

L'interno della chiesa si presentava come un ampio vano ad aula unica terminante con tre absidi squadrate coperte a crociera su cui restano tracce di affreschi rappresentanti simboli dei quattro Evangelisti, entro cornici mistilinee tipicamente trecentesche, mentre sui diversi registri di due pareti delle cappelle si dispiegavano le Storie di Santa Lucia oggi in pessimo stato di conservazione. Gli affreschi sembrano risentire della cultura umbra e marchigiana e si collocano cronologicamente nel secondo quarto del XV secolo. Degli enormi pilastri cilindrici monolitici (forse colonne romane reimpiegate) oggi rimane solo la parte prospiciente le cappelline, i restanti sono stati murati nelle pareti innalzate in epoca moderna.

Le pareti laterali risultavano scandite da sei altari minori in legno scolpito e dorato, tre per ogni lato, ognuno dei quali doveva accogliere pale dipinte, tra le quali risulta provenire dalla chiesa "La Vergine e San Tommaso da Villanova" del pittore pesarese Simone Cantarini.

A partire da destra, il primo altare accoglieva la pala rappresentante San Nicola da Tolentino di G.B. Draghi da Parma; il secondo recava un Sant'Agostino di Geminiani da Pistoia; nel terzo altare, i restauri del dopo terremoto del 1930 hanno riportato alla luce parte di un affresco quattrocentesco rappresentante un crocifisso. Nell'altar maggiore Sebastiano Ceccarini dipinse una pala con "Il martirio di Santa Lucia". Il primo altare a sinistra era occupato da una copia della Madonna della Cintura di Simone Cantarini; il secondo reca una Sacra Famiglia di Geminiani; il terzo, una Santa Filomena di Clemente Alberi. Nella cappella a sinistra dell'altar maggiore si ammirava il celebre capolavoro del Guercino, L'Angelo Custode, commissionato al grande pittore nel 1640 dalla famiglia Nolfi.