我跟男朋友是异地恋,因为我家里反对,两年才在一起差不多三个月左右,每次叫我去找他我都答应了,但是去的时间很少,上个月我答应他这个月15号去找他,我又没去,他心情不好天天喝酒,说自己要疯了,喝醉以后就说自己很累,叫我爱跟谁就跟谁,这样的话说了几次,但是他还是一样的会找我,我要怎么办呢?