卫子夫与武帝生下三个女儿一个儿子。男为戾太子刘据，女为卫长、诸邑、石邑三位公主。随着卫子夫逐渐年长色衰，失去汉武帝欢心，相继有王夫人、李夫人、尹婕妤、赵婕妤受宠，加以卫青、霍去病先后去世，卫氏地位日益可危。征和元年，公孙贺一家、诸邑公主、阳石公主、卫伉等人皆因巫蛊牵连而被杀，卫子夫和太子刘据在朝中的盟友损失殆尽。征和二年（前91年），卫子夫因其在巫蛊事变中支持起兵诛杀江充的太子，被汉武帝下令收缴了皇后印玺，卫子夫绝望自缢而死。葬于长安城外的桐柏。
她唯一生还的曾孙宣帝刘询即位后，追谥卫子夫为思皇后，重新以皇后礼仪安葬她，置园建周卫奉守，在宣帝势力稳固之后又升了陵园规格，守墓人由原来的三百扩充为千人。桐柏即长安城覆盎门外南北大道之东，汉书所写的改葬只是指重新以后礼安葬，并没有改变安葬地点。
刘据（前128年—前91年），又称卫太子。元朔元年（前128年），刘据出生，年近三十始得长子的武帝兴奋异常，即命人为刘据作《皇太子赋》，等于提前昭告天下这个刚出生的婴儿就是太子，并将他的母亲卫子夫由夫人立为皇后，并大赦天下。因此刘据既是武帝的长子，也是其唯一的嫡子，武帝此举愈发巩固了刘据的地位。6年之后7岁的刘据被立为太子，他的三个异母弟随后纷纷就国，刘据的太子之位异常稳固。
在刘据的成长过程中，武帝灌注了特殊的心血。为太子建博望苑，允许他招收门客是武帝的创举，显示了武帝将其视为接班人的迫切心情。但随着太子的长大，却形成了和汉武帝并不一致的政治观，这点让武帝始料不及。刘据性格“仁恕温谨”，但武帝“嫌其材能少”，认为与自己不相似。太子经常劝谏武帝减少跟外族的战事，武帝却说这样做是为了太子将来可以安享太平。
随着卫皇后年老宠衰以及太子据的长大，武帝对卫皇后和太子的关爱减少，皇后太子“常有不自安之意”。武帝察觉此事，曾对太子之舅、大司马大将军长平侯卫青说：“太子宽厚待人，是合适的守成之君。我现在帮他把仗打完，正是为了他的将来。”太子宽厚，虽然得到民心支持，但是也令一些主张严刑峻法的官员不满。
元封五年(公元前106年)，大司马大将军长平侯卫青病逝，皇后卫子夫和太子刘据就失去了最有力的后援;随着卫子夫年老色衰，汉武帝的移情别恋。卫子夫皇后的名位虽在，但想见武帝一面却十分困难。从而导致他们父子关系疏远进而生疑，并且太子与武帝在许多问题上不一致，如武帝“用法严，多任深刻吏;太子宽厚，多所平反”;武帝坚持以武力征伐四夷，太子则主张用怀柔之策缓和彼此关系等等。
然而天有不测风云，在江充等人的“不懈努力”寻找甚至不惜散布谣言的情况下，外加武帝晚年愈发残酷多疑，最终发生了征和二年父子相残的悲剧。