La costruzione venne decisa subito dopo l'Unità d'Italia. L'area scelta fu un'area poco edificata e periferica, tra Corso Magenta e porta Ticinese (ai giorni nostri ormai è una zona centrale). L'incarico fu dato all'ingegner Francesco Lucca che seguì, per certi versi, il modello del panopticon. Quest'ultimo consisteva in un edificio circolare che permetteva così, ad un unico guardiano, di sorvegliare l'intero piano stando al centro dell'edificio. Lucca progettò un edificio costituito da 6 braccia, ognuna di tre piani. Tra i raggi vennero costruite le "rose" di passaggio divise in 20 settori, destinati ciascuno ad un singolo detenuto in modo tale da impedire la comunicazione tra reclusi. Successivamente, su Piazza Filangieri venne costruito un edificio in stile medievale in cui erano collocati gli uffici e l'abitazione del direttore. Anche il muro esterno era nello stesso stile, ma venne successivamente ricostruito per motivi di sicurezza.
San Vittore (vista dall'alto)
Da 4 anni il carcere è protagonista de "San Vittore Sing Sing", un festival della musica e del cabaret.