Inizia a suonare da bambino prima il sassofono contralto per passare definitivamente al sax tenore nel 1946, quando entra nel suo primo gruppo gli Harlem Rollin'.
Grande perfezionista studia attentamente gli idoli del sassofono degli anni 40, da Coleman Hawkins,a Lester Young,a Charlie Parker, ne prende spunto, ne sintetizza gli stili fino a formarne uno suo assolutamente innovativo.
Nel 1949 ha raggiunto un notevole livello di perfezione, suona con Bud Powell, Fats Navarro e J.J. Johnson.
Nei primi anni '50 suona con gli artisti suoi coetanei che scriveranno con lui la storia di questa musica, suona con Miles Davis, con cui si troverà spesso nel corso degli anni, e con Thelonius Monk.
Memorabili le sue esercitazioni notturne sul famoso ponte dell'Est River, il Williamsburg Bridge, o altrettanto famose le sue esibizioni al Museo di Arte Moderna di New York dove suonava da solo tenendo delle vere e proprie lezioni di musica.
Nel 1954 registra con Miles Davis l'album Bags' Groove dove suona in brani come Oleo, Doxy e Aireign, nel 1956 con Thelonius Monk registra Brilliant Corners.
Sono i primi suoi lavori come solista che dimostrano lo straordinario livello di perfezione raggiunta sia conme strumentista che come compositore.
Nel 1955 entra nel quintetto di Clifford Brown e Max Roach.
Nel 1956 registra uno splendido album entrato nella storia Saxophone Colussus e nello stesso anno lo splendido Tenor Madness dove in un brano suona con John Coltrane.
Nel 1959, già all'apice della carriera, si prende due anni di riposo per studiare il rapporto fra improvvisazione e struttura, ricomincia a studiare lo strumento dalle basi teoriche.
E' in questi due anni che per evitare le proteste dei vicini si esercita sul ponte dell'East River, qui spesso lo raggiungeva Steve Lacy che con il suo sax soprano era anche lui in una fase di studio e di riflessione.
Si ritira nuovamente dal 1969 al 1971, ritorna ma inizia a suonare con giovani band un jazz molto commerciale, quasi fusion.
E' un periodo che non è stato mai compreso fino in fondo, pubblica ben 18 album, di cui 5 live, di qualità molto scarsa e certamente non all'altezza della sua carriera e della sua arte.
Negli ultimi anni è tornato al suo jazz,ha ripreso a fare concerti, dimostrando che anche da over 70 rimane il numero uno dello strumento principe del jazz.
Ha ripreso alla grande, è tornato a fare musica e nello spirito più puro del jazz, elaborando i suo brani e la sua musica, trasformandola, con quella improvvisazione, basilare per questa musica, e di cui rimane un grande maestro.
Un album registrato quando aveva 76 anni, e dove suona con la stessa energia e con la stessa passione, a livelli che può permettersi solo un grande uomo e un grande musicista.