Nonostante il territorio fabrianese fosse ricco di insediamenti fin dalla preistoria con consistenti centri di epoca ROMANA come "Attidium", oggi Attiggio, in una stretta valle sotto il Monte Fano e "Tufico", oggi Borgo Tufico, alla confluenza del Giano nell'Esino, la citta di Fabriano nasce solo nel medioevo. Nell'evoluzione dell'assetto territoriale dell'area del Fabrianese ha havuto grande influenza la diffusione degli insediamenti monastici. Fra il X e l'XI secolo, intorno a Fabriano vengono fondate almeno tre abbazie importanti, di cui rimangono resti cospicui: Santa Maria dell'Appennino, S. Salvatore di Valdicastro e S. Vittore delle Chiuse.

Il primo nucleo della città si forma nel corso del XII secolo dall'aggregazione di due castelli, Castelvecchio e Castelnuovo o  Poggio, posti su due modestissime alture separate da un breve avvallamento, oggi occupato dalla piazza del Comune. Fabriano prosegue con successo la politica territoriale fra il XII e il XIII secolo, assicurandosi il possesso e il controllo di tutta la valle del Giano e delle colline circostanti attraverso acquisti, patti e conquiste. Fra la metà del '200 e la metà del '400 la città acquista una sua forma definitiva anche se, molto spesso, le architetture e gli spazi attuali sono il frutto di una lunga serie di modifiche e rifacimenti operati nei secoli successivi. Il primo impianto urbano risale alla prima metà del '200 chiuso in una cerchia muraria che inglobava i due castelli originali a le due piazze; quella "alta" per le funzioni civili e politiche, l'attuale piazza del Comune, (vedi foto) e quella "bassa" o del "mercato". L'afflusso di nuove popolazioni e la crescita di borghi tutt'intorno sono il segno della prosperità di Fabriano, che già nella seconda metà del '200 inizia a dotarsi di una nuova cerchia di mura, assai più ampia della prima. Fino al secolo scorso la città non supererà i limiti di queste mura, visibili ancora oggi per lunghi tratti.