我老公属于那种无欲无求的男人，不讲究吃穿，除了喝点酒，几乎出门啥也不买，精打细算的。性格比较独，他们家几乎也不爱和任何亲戚交往，好几次我娘家叫我们出去吃饭，他也是不太情愿，一是不想回娘家，二是回娘家花钱。我也觉得心里不太舒服，毕竟我嫁人了，得陪他。但我娘家那边我不去也不合适啊，我有时候也说你要是不愿意去就别去了，但他觉得面子上过不去就跟我去了。我该怎么平衡关系