Sede del secondo castello da cui ebbe origine Fabriano, il Poggio comprendeva la chiesa di S. Venanzo, l'attuale via Leopardi, la chiesa di S. Benedetto, la piazza Mercatale ( del mercato ) e culminava nel monastero delle monache benedettine di S. Margherita. Tra la fine del '200 e l'inizio del '300 il Poggio divenne uno dei quattro quartieri della città e in seguito prese nome Borgo del Piano. La porta era chiamata anche Porta Romana poichè si trovava nei pressi della strada che portava a Roma.

Monumenti di rilevante interesse artistico e storico si trovano in questo quartiere: la Cattedrale S. Venanzo, chiesa di S. Maria del Buon Gesù, Pinacoteca B. Molajoli, Piazza del Mercato (piazza Garibaldi), chiesa di S. Benedetto, Oratorio del Gonfa-lone, Palazzo Conti della Genga, chiesa di S. Domenico, Museo della Carta e della Filigrana, chiesa di S. Maria Maddalena.