Isola di Fano è l'unico "castello", in tutto il territorio circostante, a sorgere in mezzo ad una valle e ad essere protetto da due corsi d'acqua, che gli corrono intorno.

La sua ampiezza (è il più grande borgo fortificato della vallata) e la sua presenza nel punto in cui la valle si restringe, furono di ostacolo ad ogni tipo dì penetrazione nel territorio: di conseguenza il castrum Insulae è stato un punto di riferimento sicuro per le popolazioni contigue. Il Tarugo e Il Rio, oltre a costituire validi baluardi di difesa, fornivano anche energia idraulica per i mulini, i quali garantivano ai loro proprietari un certo benessere, ed è per questo che tali impianti ricorrono, piuttosto spesso, nei contratti di locazione, di vendita e nei passaggi di proprietà.

Anticamente uno di questi mulini doveva sorgere proprio a ridosso delle mura verso nord, nel punto in cui oggi si accede al paese, in quanto rimane il toponimo Bottaccio; infatti la chiesetta, posta all'inizio del centro storico e dedicata alla Madonna del Rosario, è detta anche La Chiesina del Bottaccio. Altri mulini di Isola di Fano erano il Mulino Rapa Mario, il Mulino Mariani e il Mulino Bellucci.