秦二世元年(公元前209年)，陈胜、吴广在大泽乡起义后，刘邦聚合萧何、曹参、樊哙等数百人，杀死县官，起兵响应，称沛公。带兵转战于丰、沛之间。陈胜死后，曾一度带队伍归属项梁。后来项梁战死，刘邦与项梁侄子项羽共奉楚怀王雄心为领袖，继续坚持反秦斗争，成为反秦的主力。
秦二世三年秋(前207年)，刘邦受楚怀王派遣率所部向关中挺进。他迫降宛城，攻占武关，率军攻入咸阳，秦三世子婴投降，秦朝灭亡。刘邦羡慕阿房宫的豪华，进城后想留居宫中，经谋士张良力劝才醒悟过来，出城驻于灞上。刘邦废秦苛法，与关中父老约法三章：“杀人者死；伤人者法办；偷盗者治罪。”因而深得民心。
不久，在巨鹿击败秦军主力的项羽也攻入咸阳，驻扎于鸿门(今陕西省临潼县东)。项羽听从谋士范增的建议，决定杀死刘邦这个对手。但他的叔父项伯去告诉了老朋友张良。张良和刘邦商量后，认为自己现在不是项羽的对手，只有去向项羽赔罪，争取他改变主意才是上策。