答：您好，如果当时的离婚协议上约定孩子的抚养权归您，您随时可以接回孩子。
父母始终是孩子的第一顺位监护人，父母在世，且有监护能力的，首先由父母负责监护、抚养孩子，更何况，你们已经协商确认了孩子的抚养权归您，所以从法律上来讲，您完全可以接回孩子。
但因为孩子一直由爷爷奶奶抚养，考虑到对孩子和爷爷奶奶的影响，您可以选择较为温和的接触方式，循序渐进地多和孩子培养感情，为爷爷奶奶减负，承担起为人父母应尽的责任。
【法律依据】
《民法典》
第二十六条__父母对未成年子女负有抚养、教育和保护的义务。
成年子女对父母负有赡养、扶助和保护的义务。
第二十七条__父母是未成年子女的监护人。
未成年人的父母已经死亡或者没有监护能力的，由下列有监护能力的人按顺序担任监护人：
（一）祖父母、外祖父母；
（二）兄、姐；
（三）其他愿意担任监护人的个人或者组织，但是须经未成年人住所地的居民委员会、村民委员会或者民政部门同意。
第一千零七十六条__夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。
离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。
第一千零七十八条__婚姻登记机关查明双方确实是自愿离婚，并已经对子女抚养、财产以及债务处理等事项协商一致的，予以登记，发给离婚证。
第一千零八十四条__父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。
离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。
离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。
温馨提示：答案为网友推荐，仅供参考