Poche e frammentarie sono le notizie d'archivio rinvenute in merito agli interventi di fortificazione del "castello" di San Giorgio di Pesaro. Nel 1352 si parla del capitano della "fortezza" di San Giorgio e in tale anno il borgo era già dotato di un primo sistema difensivo costituito principalmente da steccati.

Causa le scorribande della Compagnia di Fra' Moreale nei nostri territori, si decide di dotare vari castelli del contado di Fano di più efficienti difese.

A San Giorgio s'interviene tramite interventi di rinforzo delle fortificazioni già esistenti. Nel corso del 1353, si registrano diversi pagamenti per l'acquisto dei materiali e per i lavori eseguiti per la realizzazione del "girone de Sangiorgio". Sappiamo quindi che si è lavorato all'edificazione del girone, in pratica di un sistema fortificato nel punto più elevato dell'insediamento. Nell'agosto 1352 si effettuano i lavori di scavo del fosso del castello.

Nel 1404 si tratta l'acquisizione di un terreno di proprietà privata da parte del comune per la realizzazione di un tratto di muro a difesa del castello, avente altezza e caratteristiche uguali a quelli già costruiti.

Nel 1451 si fa riferimento ad un episodio avvenuto tra la porta e il ponte del castello, altre due importanti strutture che completano il sistema difensivo in esame.

Dai pochi documenti d'archivio visti, siamo in grado di fare una prima lettura di com'era articolato il sistema fortificato di San Giorgio: sappiamo che a metà del '400 il borgo era completamente racchiuso all'interno di una cinta muraria attorno alla quale era stato scavato un fosso, l'accesso al castello avveniva attraverso la porta cui si accedeva tramite un ponte, probabilmente levatoio e quindi dotato di relativo battiponte.

Inoltre, essendo le mura realizzate nei primi anni del '400, possiamo pensarle ancora rispondenti a principi costruttivi medioevali, cioè antecedenti al diffondersi dell'utilizzo delle armi da fuoco e quindi caratterizzati da alte cortine murarie dal profilo rettilineo. Da ciò segue che l'attuale conformazione, visibile ancora lungo i tratti di cortina superstite, sia dovuta a successivi interventi d'ammodernamento, resi necessari dal diffondersi delle armi da fuoco. Interventi tipici dell'età di transizione che si manifestano nel nostro caso dotando il circuito murario di un alto muro a scarpa, con relativo cordolo e sovrastante parapetto leggermente aggettante al di sopra di piccoli beccatelli ciechi. Da segnalare anche la presenza di più postazioni rompitratta che s'innestano lungo la cinta muraria per favorirne un più efficace sistema di fiancheggiamento.

La mappa del Catasto Pontificio, risalente all'anno 1815, evidenzia la natura medioevale del borgo, racchiuso all'interno di una cortina difensiva, con lotti di piccole dimensioni e di forma rettangolare, percorso in lunghezza da un asse d'attraversamento principale le cui diramazioni si ricollegano al giro delle mura. L'ingresso al castello è rivolto all'estremità est dell'asse viario principale, verso il mare.

Dell'intero sistema difensivo sono tuttora visibili solo dei tratti dell'antica cinta muraria, sopra la quale sono stati edificati in epoche successive edifici di civile abitazione.