Il centro storico di Orciano di Pesaro, denominato "il castello", ha mantenuto le caratteristiche del borgo bassomedioevale: ancora racchiuso da mura dal tipico colore rossastro del cotto quattrocentesco, conserva l'antico impianto urbanistico, con abitazioni lontane dalle mura e due soli accessi collegati da una strada principale, dalla quale si dipartono le vie secondarie.

Le due porte d'ingresso sono collocate una verso Nord detta "Porta Vecchia" e l'altra verso Sud detta "Porta Nuova".

Quest'ultima è inserita in un monumentale complesso che in origine era il Palazzo ducale, dove la famiglia Della Rovere trascorreva giorni in villeggiatura e dove si erge la Torre civica campanaria.
Nel 1622 in tale edificio si stabilirono le monache di clausura dell'Ordine di San Benedetto; chiuso il monastero in seguito alla soppressione degli ordini religiosi, il palazzo ospitò la sede municipale conservando al suo interno le originali strutture murarie, le decorazioni, le varie opere d'arte e la chiesina dedicata a San Carlo.
Oggi nulla si è conservato all'interno (a causa delle trasformazioni subite quando lo si adibì a scuola media e poi a scuola agraria) ad eccezione di una piastra in arenaria recante il simbolo della famiglia Della Rovere databile presumibilmente all'inizio del 1500.
Un altro stemma in arenaria è collocato esattamente sopra l'arco che dà accesso al castello e reca le insegne di Giovanni Della Rovere; questo permette di datare la costruzione alla fine del 1400 quando il vicariato di Mondavio, di cui Orciano faceva parte, viene inglobato nei domini della famiglia roveresca.

All'interno del piccolo borgo risalta per bellezza la quattrocentesca chiesa di S. Maria Novella, vero gioiello rinascimentale delle Marche, e l'annessa Torre malatestiana, imponente costruzione della metà del Milletrecento.

Poco distante si apre la piccola piazza Leopardi in fase di risistemazione sul progetto del famoso architetto e scultore Pomodoro, a ricordo della propria casa natale che sorgeva proprio in questo luogo.