江湖上都以为两个人隐居了，其实并没有，两个人的结局不好，这个秘密只有郭襄一个人知道。杨过小龙女夫妇在华山之巅，与众多武林高手一别之后，外人看起来是隐居在古墓派了，其实并没有，他们依旧在行走江湖，只是隐藏了自己的身份，不让别人知道是他们而已。郭襄去古墓寻找他们二人时，他们就不在古墓派内。
杨过和小龙女两个人游历天下，只想补回两个人逝去的时光，追忆往事，只不过，两个人并没有孩子。对于这一点，杨过心胸豁达，他与小龙女能够在一起，已经是追求了，至于其他，并无太多执念。他受郭靖为国为民的情怀和黄蓉教他读书，传给他的道理，让他虽然隐居，却因为无法坐看天下风云变幻。
他虽然看似隐居，其实一直都关注着襄阳的变化，留意着郭靖和黄蓉夫妇的消息，每隔一段时间，杨过都会去襄阳小住几天，并且帮助郭靖和黄蓉守城。这段时间里，他一直都是隐姓埋名，其他人并不知道。小龙女为了救杨过,让他吃下解药,跳下悬崖留下书信16年后相见,随后杨过吃下解药,遵守着16年后相见,在这16年中他行侠仗义,成了赫赫有名的神雕大侠,还认识了郭襄,郭襄对杨过特别崇拜。
16年约定的那一天，他如期来到山崖上,可始终没等到小龙女，于是他跳下悬崖,郭襄也跟着跳了下去,谁知山崖下是个水潭,他们都没死，很快杨过发现了很像小龙女养的那些蜜蜂，于是杨过相信小龙女没有死,最后在一间小屋发现了小龙女，两个人相拥而泣，最后大雕把他们三人都救了上来，杨过和小龙女帮郭靖夫妇守住襄阳之后，便归隐古墓，终生不再出来。
杨过知道小龙女离开之后也离开了古墓寻找小龙女，在寻找的过程中发生了许多的故事，最终杨过与小龙女在绝情崖相遇，但是小龙女给了杨过十六年之约之后离开，并且告诉杨过十六年之后再到绝情崖相遇。再十六年之后杨过和小龙女帮助郭靖解决了襄阳之乱并且跟随郭靖和黄药师在绝情谷重新定下了新五绝之后，与小龙女一起下山去，从此归隐江湖，杨过会远离江湖，任谁也不会相信。那时，正是宋元交替的乱世。杨过并没有心怀一颗浪子之心，而选择远离尘世的喧嚣。如果将杨过换成是令狐冲，那么他和自己的心仪之人遁于乱世尚可理解。然而，杨过不是令狐冲。