汉元帝的父皇，汉宣帝刘询在世时曾经说过：“乱我家者，太子也！”而事实上，汉元帝果然不幸被其言中，成为了西汉衰落的罪魁祸首。
其实，倒不是说崇尚儒学，以儒家思想治国就不好，而是要看统治者是怎么用的。当初汉武帝重用大儒董仲舒，通过推行“罢黜百家 独尊儒术”，强化了大一统思想，从而开创了辉煌的汉武盛世。但问题就在于，汉元帝跟汉武帝的层次是不同的。
汉朝在文景时期，长期坚持道家的“无为而治”思想治国，尽量轻徭赋税、与民休息，开创了清明的文景之治。可这套治国思想到了汉武时期，已经不符合汉朝发展的需求了。当时，汉武帝迫切希望将文景以来汉朝积攒下来的国力发挥出来，扭转汉匈之间的对峙态势。这就需要一种更加进取，更加统一的思想，以此来摆脱“无为而治”对汉朝开疆拓土的束缚。
而汉武时期的儒家思想，经过董仲舒的发展，掺杂了道家、法家、阴阳五行家等的思想在其中，是具备了兼容性和发展性的。因此，汉武帝才会选择以儒家思想来代替道家思想，这便有了辉煌的汉武盛世。
汉元帝自幼深受儒家思想的熏陶，由此形成了“柔仁好儒”的性格。因此，他对儒家是盲目的推崇，而并不懂得兼收并蓄。
这一点，其父皇汉宣帝可是有十分清晰的认知，所以曾对汉元帝说过这样一番话：
汉家自有制度，本以霸王道杂之，奈何纯任德教，用周政乎！且俗儒不达时宜，好是古非今，使人眩于名实，不知所守，何足委任！（出自《汉书-元帝纪》）
还真是“知子莫若父”，汉宣帝看出了汉元帝对儒家的盲从，也深知“俗儒”治国对国家所带来的危险。只可惜，汉元帝并没有及时改掉其“柔仁好儒”的性格。即位后，重用萧望之等儒臣，改弦更张地推行所谓的“仁政”，致使汉朝自废武功。加上汉元帝优柔寡断，无法明辨忠奸，后期又导致朝堂奸宦当道，大权旁落。
而汉元帝的这些失败举措，最终也导致了汉朝的快速衰落。还真应了汉宣帝那句：“乱我家者，太子也！”