Nel quartiere S. Francesco di Pergola si trovano ancora numerose costruzioni in pietra del Tre-Quattrocento, alcune case-torri, con ricorrenti elementi architettonici o decorativi del tempo quali portali a sesto acuto o bassorilievi. Ce ne sono soprattutto in via Graziani, in via Angelo dal Fuoco e lungo il corso Matteotti.
Da segnalare, in particolare, Palazzo Caverni, con finestra e portali abbinati a sesto acuto e, soprattutto, Palazzetto Latoni, esempio tipico di questa edilizia, con finestre riquadrate, la cui caratteristica stella a cinque punte rimanda ai maestri comacini, evidentemente giunti anche da queste parti.

Le lavorazioni della lana e del cuoio furono, per circa sei secoli, gli elementi fondamentali dell'economia pergolese e diedero vita a due distinti agglomerati urbani.

Il quartiere delle Tinte, collegato al centro tramite il complementare quartiere delle Birarelle, sorse lungo il Cesano.
Fatto di edilizia povera, adibita per lo più a laboratori, manifatture e alle abitazioni dei tintori, ha perso le caratteristiche originarie a causa delle successive ristrutturazioni. Si segnalano casa Maraschini, un mulino in pietra e una casa quattrocentesca con pietre angolari e scala esterna.

Il quartiere delle Conce sorse, invece, contemporaneamente alla città, lungo il T. Cinisco.
Costituito da opifici per la lavorazione delle pelli, oggi è completamente trasformato, ma presenta un interessante profilo, mosso dal susseguirsi di tetti e altane sopra il Cinisco. Si segnalano casa Camerini, con terrazza al sottotetto con arcate aperte, una casa torre in via S. Biagio e anche singoli elementi quali pietre angolari ed archi.