曹雪芹的祖先是东北辽阳地区的汉族人。他家在明朝末年成了清朝皇帝的包衣（家奴），隶属于上三旗之一的正白旗。清军进关，他家祖先也跟打了进来，而且立下军功，从包衣一跃而成为功臣，当了官，也发了财。曹雪芹的曾祖母，是康熙皇帝小时候的保姆，这样，他家和皇室的关系更近了一层。康熙皇帝亲政以后，对曹家特别信任，让他家世袭江宁织造（驻在南京）官爵，还兼管两淮盐政。曹雪芹的爷爷叫曹寅，爱好文学，写过一些诗词文章，在当时很有名气。曹寅死后，他的儿子曹颙继任江宁织造。可是，不到一年，曹颙就病死了。康熙皇帝不忍心这个忠实于他的家族这样衰落，就指名把曹寅的侄子曹頫过继给曹寅，担任江宁织造。曹雪芹是曹颙的儿子，曹頫的侄子。
曹家人丁不旺，曹雪芹又是接替香火的种子，一生下来就受到人们的百般宠爱。他的吃穿用度，都是奢靡奇异，豪华精巧。家里还有琳琅四壁的藏书，玩累了可以东抽一本看看，西拿一本瞧瞧。这样，他从小养成好读杂书的习惯，视野也自然比一般只读四书五经的人开阔得多。可是，在康熙皇帝的儿子们明争暗斗的过程中，曹家看错了风向，不但没有支持皇四子胤禛，反而和他的政敌皇八子来往密切。雍正皇帝怀恨在心，一登上皇位，就找碴儿整曹家。曹家长期铺张浪费，花钱像流水一样，亏空了不少公款。雍正皇帝借口曹家贪污公款，撤了曹頫的职，又把他家查抄了。曹家被抄以后，即由南京迁到北京。从此，家道衰败，