旧房子是他弟住二楼，我们住一楼，现在我的新房建好了，家里人都劝我们旧房转让给他弟，还说我转让给他们是为了家庭和睦，免得大家心里都不舒服，但是我不想转让，当时两兄弟建房的时候他弟媳妇就说了，如果谁搬出去谁也不给谁补钱，我现在干嘛要转让给他们，我是外地人，他们当时说这句话是什么意思？当初两兄弟住的房的时候他们说他们要住二楼，我给家里说我们也想住二楼，后来我知道他们也要住二楼，我什么也没说就答应他们住二楼，小事上我可以让，但转让这件事上我真的不能让步，再加上为以后考虑，我也不想转让，想等以后老了还是回旧房子住。我应该以什么样的理由拒绝尽量不让他家里人对我意见那么大？