Il Colle di S. Aldebrando si trova immediatamente al di sopra del centro storico di Fossombrone, di fronte al Colle dei Cappuccini.

Su di esso è stata edificata la Rocca di Fossombrone, antico baluardo malatestiano, poi, sotto il ducato dei Montefeltro, trasformato in fortificazione ancora più articolata e complessa, dall'architetto Francesco di Giorgio Martini. Di quest'opera restano parte delle mura perimetrali con i tre torrioni ed il "mastio"; rimangono intatti anche alcuni ambienti e cunicoli sotterranei.

Al centro fu costruita la settecentesca Chiesa di Sant'Aldebrando, nel cui interno si notano gli affreschi sulla vita e miracoli del Santo Patrono di Fossombrone, attribuiti ad Antonio Alberti da Ferrara.

Più in basso della Rocca si trova La Cittadella, nucleo di case che rappresenta la piccola città originaria sorta dopo la distruzione della romana Forum semproniisituata nella vallata.
Nella Cittadella è situata la Torre dell'Orologio.