各位好，是这样的。
1、我家农村有一处祖屋是我大公留给我爷爷的，这处祖屋也是我爸和另外几兄弟出生和长大的地方。当年爷爷的几个子女分家的时候，这处祖屋就分在我爸名下，我爸也一直居住在此处祖屋，只是这祖屋因为是老一辈留下给我爸的，所以这祖屋没有土地使用证，也没有其他资料。
2、2006年的时候我家在别处新建一栋房屋，所以此后的时间祖屋就一直空闲着无人居住。2008年本村村民A先生向我爸提出把我家祖屋借给他家人用，我爸当时答应。2009年A先生用一块菜地跟我家换了另一块种菜地，由于A先生的菜地比我家菜地稍大一点，大概大10个平方左右。这时A先生说反正你家祖屋现在我们家也空闲着，不如就先给他家人用，A先生家比较穷，我爸觉得他家较穷（他女儿上初中了还跟他爸妈睡同一个房间），我爸就说那房屋你就先拿去住吧。
3、2013年我爸想在跟A先生交换过来的菜地上打地基准备建围墙，由于各种原因A先生不让我爸建围墙，A先生说如果我爸建了围墙，他就拆掉。因此我爸说既然你这菜地不让我建围墙，那我的菜地和祖屋也必须还给我家。但是A先生他只肯还菜地，不肯把我家祖屋还回来。A先生说这祖屋是2009年我爸答应送给他的，所以他不还。但我爸说祖屋是借给他用的，并不是送给他。现在我家祖屋被A先生一直占用着，并且上个月他还把我家祖屋拆了，准备在原地上建房子。
4、现在有好几位村民的签名证明那祖屋是一直归我爸所有，包括村民小组长也签了名。如果将来起诉的话，这个村民的签名，法院会采纳这个证明,吗？
5、请问律师，就目前这种情况，我家祖屋到底是属于谁？法律依据是什么？麻烦各位帮忙解答，谢谢。