《史记》和《汉书》中的刘邦，出身一致，都是布衣出身，但《汉书》中的细节更全，《汉书》中明确表达了刘邦是家中庶子的事情，也从侧面反应了，刘邦虽是布衣出身，但他父亲刘太公能讨到小老婆，他的家境肯定不是那种揭不开锅的，至少是个富户，《汉书》同时还介绍了，刘邦无论走到哪里、和什么样的人打交道，都能打成一片。
首先，刘邦是小老婆生的儿子，在家并不受宠。
《史记》说刘邦的父亲为刘太公，母亲为刘媪，但对于刘媪的身份，《史记》则讳莫如深。而《汉书》中则披露了，早在刘邦即皇帝位之前，刘媪便去世了，刘邦追尊刘媪为“昭灵夫人”，后又尊刘太公为太上皇，刘太公的发妻为太上皇后，吕后去世前追尊刘媪为“昭灵后”，这些细节都表明，刘邦的生母刘媪应是刘太公的小妾，所以刘邦只敢在称帝后追尊刘媪为“夫人”而非“后”。
《史记》中还记载，长乐宫落成，刘邦及诸臣一起喝酒，刘邦趁着酒醉问父亲，“您以前觉得我不能置产业，不如二哥有本事，您现在看看，是我的本事大，还是二哥的本事大？”这一问，暴露了刘邦年轻时不被父亲看好的事实，可想而知，刘邦是小妾的儿子，又不被父亲看好，能受宠就怪事了。《史记》说刘邦在见到秦始皇时脱口而出“大丈夫当如是也”，在见识了叔孙通制定的礼仪时说“吾乃今日知为皇帝之贵也”，这些话语其实都反应了，刘邦应曾有一段不受重视的过往，所以刘邦才特别渴望自己也能“贵”起来。
总之，刘邦是庶子，大抵在家中也不受尊重，所以刘邦远比他二哥刘仲更渴望成功。
其次，刘邦交际能力很强，能快速地与任何人打成一片。
《汉书·高帝纪》说“初，高祖不修文学，而性明达，好谋，能听，自监门戍卒，见之如旧。”大概意思是，最初，刘邦不研修文献经典，但却能性情明朗豁达，善谋略，能听从正确建议，即便是大头兵，见到刘邦都感到一见如故。这段评价说明，刘邦跟项羽一样，能够深入底层，跟底层人民打成一片。
《史记·留侯世家》又记载了，留侯张良苦读《太公兵法》十余年，讲与他人听时，他人都不明白，唯独讲给刘邦，刘邦一听就懂，一学就会，还能举一反三，自出机杼。这说明，刘邦在与高人谈论极高深的知识时，也能心领神会，刘邦的学习能力、交际能力非常恐怖。
总之，无论是大头兵还是张良这样的高人，刘邦都能和他们打成一片。
《史记》《汉书》中的刘邦，出身普通，顶多是家族稍微富一点，但作为庶子的刘邦，应该是不富的，即便如此，刘邦却能凭借自己的本事，聚集起一大帮能人奇士来，这说明刘邦非常厉害。