Anticamente la città era cinta da mura romane, che furono abbattute dai milanesi nella guerra dei dieci anni (1118-1127). Nel 1154 Federico Barbarossa giunse in Italia per combatere contro i milanesi e i comaschi, divenuti suoi alleati, ricostruiscono le mura della città. Più tardi verranno costruite anche la torre di Porta Nuova a ovest e la torre di San Vitale ad est. Verso la fine del ‘700 la città non ebbe più bisogno della protezione delle mura, che vennero parzialmente demolite o fagocitate da giardini signorili.
Porta Torre è uno straordinario esempio di architettura militare di tradizione romanica. Il lato rivolto verso piazza Vittoria ha un aspetto massiccio e impenetrabile, quello rivolto verso la città vecchia invece presenta quattro ordini di arcate che corrispondono ai piani interni, le cui pavimentazioni sono andate distrutte. Sulla sommità delle arcate si trova una piccola finestrella a forma di arco a tutto sesto, oltre la quale si trovava la campana che veniva suonata in caso di pericolo per allertare i cittadini.