La madre di James, Mary (b.1819) rimane presto vedova. Suo marito, James Meal Sadler (un impiegato presso un ufficio di rappresentanza legale in pratiche di Cancelleria, Lincoln Inn Fields), muore per consunzione all'età di 27 anni quando James Thomas ha solo 3 anni di età. Il nome Meal, è il cognome del nonno di Sadler, il capitano Meal, comproprietario di diverse navi della zona di .
Sembra che James Thomas Sadler fosse il maggiore di due figli. La madre afferma che il figlio più giovane sia morto di consunzione polmonare nella prima infanzia.
Durante i suoi anni formativi lui e sua madre risiedono in Jubilee Street, una strada che collega Mile End Road a Commercial Road. La signora Sadler dichiara di avergli insegnato a "leggere parole, ma non scrivere", quando, all'età di 9, Tom viene ammesso alla Primrose School dove rimane fino all'età di 15 anni. Dopo aver lasciato la scuola, Tom inizia a lavorare come Sotto Impiegato ai Docks di Londra.
Si annoia però della vita sulla terra ferma e inizia a sognare gli esotici viaggi che il mare può offrirgli. La madre riluttante all'idea viene ignorata e Tom inizia a viaggiare come marinaio. Manda a casa la metà del suo stipendio, quando in mare, o consegna alla madre l'importo esatto al momento dell'arrivo a terra. La sua vita in mare viene comunque intervallata da periodi di lavoro a terra. Quando questo capita, fa' prevalentemente l'operaio nei depositi di tè e alloggia con la madre a , o in altre varielodging-house dell'East End.
Nel 1876 sposa Sarah Maria Chapman (b.1851, , , ) ma che ha già un figlio, Ruth (b.1873, ). La coppia avrà altri 2 figli: Daisy (b.1880, Stepney) e Primrose (b.1884).
Il 15 agosto 1888, Sarah abbandona Londra per andare a vivere con sua madre a Chatham.*
Il 14 febbraio 1891, il giorno dopo l'omicidio di Frances Coles, James Thomas Sadler viene condotto alla centrale di polizia per accertamenti come possibile sospetto per il delitto.