Nucleo originario della città, Castel di Castro fu fondato nel 1217 dal pisano Lamberto Visconti, su concessione della moglie Benedetta de Lacon Massa, giudicessa del Regno di Calari. Per la realizzazione di alcuni tratti del circuito murario e delle torri pisane furono riutilizzati conci bugnati provenienti dalla città fenicio-punica. L'imponete sistema di difesa direttamente collegato al porto di La Pola tramite il quartiere della Marina, conserva alle opposte estremità la Torre di San Pancrazio a nord e a sud quella dell'Elefante. In origine alla cinta muraria apparteneva anche la Torre del Leone, i cui resti furono inglobati da Palazzo Boyl. Largamente ristrutturate, le mura sormontano il massiccio calcareo che venne scalpellato in modo da ottenere continuità con il paramento murario che in origine terminava con merlature.
Come menziona l'epigrafe, la Torre dell'Elefante fu innalzata dall'architetto Giovanni Capula nel 1307, responsabile dell'intero progetto di fortificazione, ricordato caput magister nella realizzazione di una delle più belle opere militari italiane.Al pari della Torre di San Pancrazio si eleva per circa 35 metri, con pianta a L e un lato aperto che lascia intravedere l'interno costituito da quattro soppalchi in quercia, armati di travi in rovere e scale lignee attraverso le quali si accede ai vani muniti di feritoie. La fabbrica, in conci calcarei provenienti da Bonaria, caratterizzata dalla rastremazione verso l'alto, individua una serie di mensole poste a coronamento dell'edificio che fungevano da sostegno ai perduti piombatoi.
Si conservano la porta ferrata a saracinesca, la coeva scultura marmorea raffigurante un elefantino, che si distacca dalla struttura attraverso una mensola decorata, e una serie di stemmi appartenenti alle casate dell'epoca.Conseguentemente alla conquista catalana del 1326 si procedette alla riparazione di mura e torri, evitando di modificarne la struttura difensiva, ma nel corso del XVI secolo, in seguito all'innovazione dei cannoni e all'impossibilità di sorreggerne il peso, le torri persero il loro valore originale. Edifici seriori celarono parte della sua imponenza e nella seconda metà del XIX secolo la Torre dell'Elefante fu adibita a carcere. Solo con il restauro del 1906 furono riportate alla luce le antiche strutture.