La Torre in pietra, detta "delle milizie", è il simbolo di Fermignano, come risulta dallo stemma comunale murato sulle logge Aliventi in Piazza Garibaldi. Principale emergenza del centro storico, situata tra il Ponte e la cartiera, costituisce con essi il quadro urbano più rappresentativo e suggestivo dell'antico abitato.

La Torre, oltre che rappresentare una difesa cittadina, doveva avere un ruolo di controllo di quell'importante guado sul fiume Metauro, fungendo da stazione di pedaggio.
Difficile è stabilire l'origine della Torre, anche se pare molto probabile che sia sorta con il Ponte, quasi sicuramente di origini romane ma più volte rimaneggiato.
Così come oggi si presenta, con il fusto massiccio in pietra, le enormi masse murarie, le piccole feritoie, la Torre rientra pienamente nei canoni costruttivi medievali, fatta eccezione per la parte terminale, oggetto di rimaneggiamenti effettuati nel XV secolo, durante il ducato di Federico da Montefeltro.
La Torre fu a lungo proprietà dei conti Bonaventura, la ricca famiglia che aveva nel territorio numerosi altri possedimenti, tra cui "Villa Isola", dove fu ospite Torquato Tasso.

Nel 1886, ai piedi della Torre, venne costruito il cosiddetto "Mascherone", la fontana pubblica ancora oggi visibile.