大概一个月前，骑车载着女朋友在马路上被绿化施工的水管给绊倒了，我们都受了伤。刚起身找其理论，其却大骂我们不长眼睛。本想算了自己去医院包扎一下就好，没想到他将水管挪到马路对面，又开始骂骂咧咧。没忍住，冲过去打了他几拳，他也予以还击。最后报警，作了笔录，就去医院了。包扎完毕，依民警所说去当地派出所进行调解，等了半个小时他却没来，随即离开。今天下午，一位民警打电话给我，说叫我明天去派出所。我该怎么办？女朋友也要上班，可以不去吗？