Quelle di San Giorgio di Pesaro sono terre da tempo immemorabile sottoposte ad attività agricole, testimoniate da tracce di insediamenti preistorici, successivamente abitate da popolazioni di area nord-marchigiana quali i Pelasgi, Siculi, Liburni, Umbri e i Galli Senoni da cui il nome di "Ager Gallicus" con cui i romani denomineranno il territorio compreso tra Rimini e l'odierna Senigallia.

Il declino dell'impero romano porterà anche su queste terre popoli barbari quali Goti, Bizantini, Longobardi, Franchi e Bulgari.
Il nome stesso del "castello" di San Giorgio, ripreso dall'omonima chiesa, e il S. Apollinare della Chiesa del Castello di Poggio, rivelano nella dedicazione a santi orientali evidenti tracce del dominio bizantino in epoca alto medioevale.

Il primo documento scritto è una bolla papale del 777 che nomina il "castello" (centro abitato racchiuso da mura) di Poggio e una dell'anno 875 che elenca sia il castello del Poggio che quello di San Giorgio.

I due piccoli castelli abitati da poche "famiglie povere addette tutte ai lavori della campagna" pur autonomi, passeranno attraverso le alterne vicende della storia subendo spesso le conseguenze di fatti e decisioni prese altrove. Infatti mentre in alcuni periodi erano amministrati direttamente dal Governatore Pontificio, poiché appartenenti ai territori dello Stato della Chiesa, in altri dipendevano dalla vicina città di Fano, come privilegio concesso a qualche signore locale.

Nel trecento subiscono le conseguenze delle lotte tra guelfi e ghibellini; nel quattrocento le sanguinose lotte per il dominio tra i Malatesti signori di Fano e i Montefeltro duchi di Urbino e all'inizio del cinquecento tra i Della Rovere e i De' Medici. In quest'ultima occasione (1516-17) vennero date alle fiamme gli archivi di tutti i luoghi dello Stato di Urbino. Nè migliore sorte fu riservata ai documenti in altre due occasioni: alla fine del 1700, sotto il dominio della Repubblica imposta dalle truppe napoleoniche, e nel 1955 quando, per scempiaggine, l'archivio storico del comune venne mandato al macero. Con la fine del ducato di Urbino (1631), anche i due castelli tornano sotto il diretto governo pontificio.

Nel 1797, sotto l'amministrazione napoleonica, il castello del Poggio perderà la propria autonomia. Verrà infatti unificato, in un solo comune, con il castello di San Giorgio riducendosi sempre più ad un modestissimo centro quasi spopolato e isolato: l'antica strada maestra che correva ad ovest dei due castelli, collegandoli, è ora pressoché scomparsa, sostituita dalla strada provinciale orcianese costruita nei primi anni dell' Unità d'Italia, nella direzione e lungo la quale il borgo di San Giorgio ha avuto la sua espansione.