La sua storia musicale cominciò alla fine degli anni '50, quando a soli 18 anni entrò in studio di registrazione con i Tyrone Ashley's Funky Music Machine, i cui membri inseguito entrarono a far parte dei Parliament-Funkadelic.
Nei primi anni '60 Big Man formò la sua prima band, i The Vibratones, con cui suonava cover di James Brown.
La grande svolta avvenne qualche anno più tardi, quando Clarence Clemons entrò a far parte della band di Bruce Springsteen, formando la E Street Band ed entrando nella leggenda del rock e non solo.
Big Man morì il 18 giugno 2011, dopo una settimana di ricovero a seguito di in ictus a Palm Beach in Florida.
Clarence Clemons era un ottimo sassofonista ed emanava una grande simpatia, una persona che manca molto alla musica ed in particolare al Boss, il quale ad ogni concerto lo presentava come "il più grande uomo che io abbia mai visto".