李渊晚年的生活实在不好，宫殿缺乏修缮，生活受到限制，甚至让李世民的臣子都有些看不下去了。
玄武门之变后，李渊被迫封李世民为太子，监国，不久退位。退位之初，待遇还是不错的，仍然居住在皇宫的正宫太极宫中，而李世民则在太子的居所东宫处理政务。但李世民显然心有不甘，所以，对父亲开始不断“打脸”。首先是废除了李渊在位时的大部分政策，这也就算了。紧接着，李世民不断在公开场合批评李渊武德年间的朝政：诸如“武德之际，货贿公行，纪纲紊乱……”、“武德之时，政刑纰缪，官方弛紊……”这些都在史书中有明确记载。更是将李渊最信任的宰相裴寂评论的一无是处，贬谪出京，说他一切都是仰仗李渊为非作歹。这些对父亲毫不掩饰的批评无疑就是在暗示李渊，赶紧搬出去。
所以，李渊也识相，在贞观三年四月，“主动”提出，愿意从太极宫迁往弘义宫居住，理由是那里“有山林胜景，雅好之……”实际上，弘义宫就是原本的李世民秦王府。里面根本没什么好景致不说，更是在规模上远小于太极宫，甚至比太子东宫也要小上不止一个规模。
李渊迁入弘义宫后，改名大安宫。那大安宫环境如何？不好！因为有监察御史马周的奏书为证。贞观六年，马周上疏说：“臣伏见大安宫在宫城之西，其墙宇宫阙之制，方之紫极，尚为卑小。臣伏以东宫皇太子之宅，犹处城中，大安乃至尊所居，更在城外。虽太上皇游心道素、志存清俭，陛下重违慈旨、爱惜人力，而蕃夷朝见及四方观听，有不足焉。臣愿营筑雉堞，修起门楼，务从高显，以称万方之望，则大孝昭乎天下矣。”大安宫在宫城外，显得卑小，而东宫都还在城中，所以希望能够修缮大安宫，以彰显皇帝孝道，结果李世民不驳回也不采纳，搁置……
另外，李渊生性好动，在武德年间即使公务繁忙，战争不断，他也会四处游猎。但是自从成为太上皇，再也没有出过宫门。当年夏天，李世民前往九成宫避暑，马周又一次上书“臣又伏见明敕，以二月二日幸九成宫。臣窃惟太上皇春秋已高，陛下宜朝夕视膳而晨昏起居。今所幸宫去京三百余里……非可以旦暮至也。