Poggio è oggi un piccolo agglomerato di case, frazione del Municipio di San Giorgio di Pesaro, anche se sino alla fine del 1700 è stato comune autonomo. La sua storia è legata a quella del "castello" di San Giorgio che si trova a poca distanza e all'Abbazia di San Paterniano, poichè da questa dipendeva la sua parrocchia di Sant'Apollinare.
Le prime notizie su Poggio risalgono al 1156, anno in cui Adriano IV conferma all'abbazia di S. Paterniano di Fano "quicquid iuris habetis in capella Sancti Appollenaris ... tres partes castri Podii cum tribus partibus curtis eiusdem castri".

Il "castello" di Poggio non ha fortificazioni se non quelle naturali di una rupe, essendo situato su di uno sperone di arenaria che sporge a ridosso di un fossato. Il suo nucleo abitato è costituito da poche case di mattoni e pietra, con stretti e brevi vicoli, e dalla Chiesa di S. Apollinare.