Il Lambeth Palace fu acquistato dall'Arcivescovo nel 1200, la parte più antica del Palazzo è la cappella, la Lollard Tower risalente al 1440, che conserva la testimonianza dell'utilizzo che ne venne fatto durante il XVII secolo: era una prigione, è ancora presente una portineria in stile Tudor costruita nel 1495 dal cardinale John Morton
L'albero di fico che si trova nel cortile del Palazzo si presume che sia cresciuto da un fiore di uno dei fichi bianco di Marsiglia piantati dal Cardinale Pole, le cui spoglie, nel 1558, rimasero per 40 giorni nel Palazzo dopo la sua morte
Il Palazzo oggi è anche la sede della Lambeth Palace Library, fu fondata nel 1610 come biblioteca pubblica dall'arcivescovo Richard Bancroft e contiene la principale raccolta di fonti sulla storia della Chiesa d'Inghilterra, comprendente archivi di arcivescovi e vescovi e relative documentazioni dei missionari anglicani nel mondo oltre a molte altre opere di carità, infine tra i numerosi volumi custoditi al suo interno troviamo anche materiale riguardante la storia dell'arte e dell'architettura