李渊退位之后的生活，的确比较逍遥自在，按照现在的标准来说，他就是一个衣食无忧，有众多美女相伴的宅男。
但是，说他两耳不闻窗外事，应该还不至于，至少为了自己的安全，还是会随时关注大唐朝廷动向的。而且，身为太上皇的李渊，也会出现在很多宴会、庆典之类的重要场合。至于其他空余时间么，自然是宠姬美妾，外加逗娃娃玩了。
李渊能够成为大唐的开国皇帝，跟他的三个儿子有密切的关系，其中功劳最大的自然非二儿子李世民莫属，而太子李建成，四子李元吉，也手握兵权，颇有功绩。
据史料记载，李渊晋阳起兵，就是李世民的谋划，因此，李渊曾答应事成之后，立李世民为太子。可是，当李渊做了皇帝，又担心李世民势力过于强大，威胁他的皇位，改立了李建成为太子。李渊希望用李建成、李元吉来牵制李世民，他自己则可高枕无忧了。
只是，李渊太小看了李世民及其幕僚的强大。武德九年（626年）六月，李世民发动玄武门之变，杀死了太子李建成，及四弟李元吉。三日后，李渊立李世民为太子，将大小国事交由李世民处理。到了九月，李渊退位成了太上皇。
据两唐书的记载，李渊做了太上皇之后，前三年都住在太极宫内。所谓的太极宫，就是唐朝的宫城，俗称大内。宫城的北入口就是玄武门。这里是皇帝及其后宫居住的地方。可见，此时太宗李世民对太上皇还是心存戒心，将李渊放在自己的严密监控之下，共住宫廷内院。
到了贞观三年（629年）四月，李渊从太极宫迁出，搬到了弘义宫，后改名大安宫，居住。大安宫，是以前李世民居住的地方，即之前的秦王府，位于西内苑西部。父子两人彻底换了个位置，不过李渊却自由多了，毕竟距离太宗李世民远了点。
因为大安宫比较狭小，到了贞观八年（634年），李世民为了让太上皇李渊居住的舒适一些，开始在宫城东北方建造大明宫。可是，还未建成之时，李渊就在贞观九年（635年），因病去世了。
按照史料记载，李渊成了太上皇之后，彻底放手，不再过问朝政，毕竟李世民是逼宫，不放手也不行。这也让李渊少了很多烦恼，有了更多的空闲时间。
李世民对李渊也还不错，经常邀请太上皇出席各种盛宴，甚至会亲自与长孙皇后轮流服侍李渊用餐。而皇亲贵戚、公卿大臣们，也常常说些让李渊开心的话。李渊一高兴，还会抱起乐器，献上一曲，众人也会随之起舞，的确继承了胡人豪爽，大家其乐融融。
李世民还将自己比较年幼的弟弟们，送入了大安宫，陪伴父亲李渊。太上皇在一堆未成年的儿子陪伴下，倒也有了很多天伦之乐。
当然了，除了上面的这些，还有重头戏呢。李渊自从当了做了太上皇之后，可以有更多的时间疼爱美姬宠妾了，真是人生一大乐事呀。
据史料记载，李渊在太极宫的三年中，至少生了两个儿子，分别是生于628年的第21子李元晓，以及同年出生的第22子李元婴。
因为古代女子地位相对较低，所以，李渊女儿的生卒年，多数没有详细的记载。李渊在太上皇期间，到底生了多少个女儿并没有确切的数字，我们只能来推测了。李渊的第12女淮南公主，出生于622年，而李渊之后又生了7个女儿。