2000年同归朋友介绍和张某结婚，联合年后有一女儿，平时张某不怎么管孩子爷爷奶奶很亲，生活支出费用基本上都是我负责，孩子上幼儿园，学前班在市里上（他家在县里的村），孩子一直我带着，孩子很懂事，我也在平时教育孩子爷爷奶奶很亲，07年因为工作需要调到广州工作。2010年五月份因男方原因协议离婚，离婚后，孩子归我，其他什么也不要，爷爷奶奶经常去邢台看孩子，有时候没经的我同意去学校或午托班看孩子，还经常教一些影响孩子心里的话，因为再次组建家庭为孩子转了学校，但是爷爷奶奶一到星期或放假就会往我们现在家或者给我现在的老公打电话，要接孩子回去住，现在的老公虽然心里不高兴，但是从来不说，今年五月份该给抚养费了，前夫说现在手里紧张给了三分之一，孩子一放暑假爷爷奶奶又打电话让孩子回去，因为从市里到现在的学校教材版本不一样，学习很吃力准备让孩子补课，爷爷奶奶说孩子回来就给，我解释说孩子在姥姥家，又快开补习班了，开学之前回去吧。离开学还有半个月的时候姑姑打电话说要接，我说作业没写完呢，我让她等，现在老公说去吧，既然想孩子多住几天，开学就不方便了，虽说嘴上这么说，心里也不愿意，怕孩子老回去，影响自己和孩子培养起来的感情，住了一个星期多了，老公喝醉酒了，打的电话给他姑姑，因为接女儿的时候说是在她家住几天，一打电话说没在，因为喝了酒了，又加上清楚时不愿说的不开心，在电话骂了她姑姑，语言很难听，这时候我并不知道，我知道后我赶紧在电话里赔礼道歉，还因为这个给我老公吵了架，爷爷奶奶还是不肯罢休说让我去接，开学前两天我接去的时候，他们全家都很气愤说心疼孩子，又说心疼我，以此当借口还说不让孩子走了，什么时候想看让我看，搞搞清楚我才是孩子的合法监护人，我还是解释，他们根本就不听，到家俩小时了都没见到孩子，我很着急但是又不好发作当时我很极端真的想到跟孩子相依为命过一辈子，为了见到孩子我妥协答应现在不接，因为我不想伤害到孩子，答应见了孩子不会哭或者强拉孩子走。他爷爷有心脏病，不能着急，我也不远对簿公堂伤害到孩子，我该怎么办？