霍光的父亲名叫霍仲孺,公元前141年前后,以县中小吏身份被派到平阳侯家服役。霍仲孺和平阳侯府中侍女卫媪之女卫少儿私通生下霍去病。霍仲孺在平阳侯家任务完毕返回家中,另娶妻子生下霍光,和卫少儿不再来往。元狩二年(前121年),霍去病拜骠骑将军之职,在出击匈奴的途中,被河东太守出迎至平阳侯国的传舍,并派人请来霍仲孺与之父子相见。霍去病替霍仲孺大量购买田地房屋和奴婢后离去。
霍去病此次出征凯旋时,再次拜访霍仲孺,并将异母弟弟霍光一起带到长安照顾。霍光当时年仅十多岁,在霍去病的帮助下,先任郎官,随后迁任各曹官、侍中等。元狩六年(前117年),霍去病去世。霍光升任奉车都尉、光禄大夫等职位,侍奉汉武帝左右,前后出入宫禁二十多年,未曾犯一次错误。因此,得到汉武帝的信任。
霍光是霍去病的弟弟,汉武帝临死前传位给他的小儿子刘弗陵,刘弗陵才8岁, 汉武帝指派霍光和上官桀辅佐刘弗陵,掌权的是霍光,刘弗陵21岁就死,他没有孩子,选汉武帝第五个儿子刘髆的儿子刘贺当皇帝,但刘贺太荒淫无道了,当了26天皇帝被废了,后来选了汉武帝第一个儿子刘据的孙子刘病已当皇帝。
刘病已没当皇帝以前娶了贫民家的女儿许平君, 感情非常好,刘病已当皇帝后改名为刘询,当时还是霍光掌权,霍光希望的女儿当皇后,刘询不顾他的反对,还是立他的妻子许平君为皇后,霍光不甘心,霍光的妻子把正在生孩子的许平君毒死了,刘询没有办法只有立霍光的女儿为皇后,刘询开始比霍光的女儿很好,其实都是慑于霍光的威势,霍光死后, 刘询废了霍光的女儿, 灭了霍家满门。愿意有两个,为他的妻子许平君报仇,第二个愿意是要把权力收回来掌握在自己的手里。