Il padre è il capitano John Cornholio Byron, detto "Mad Jack" ("Jack il Matto"), ed è proprio a causa della vita dissoluta di questi che il giovane George trascorre l'infanzia in ristrettezze economiche ad Aberdeen, in Scozia, presso la madre Catherine Gordon of Gicht.
In seguito ad una febbre reumatica tramutatasi in meningite, George Byron muore a Missolungi (Grecia) il 19 aprile 1824.