第一，曹操被称作曹贼，关羽不愿意自己的名声遭到影响。
汉献帝虽然在曹操手上，但当时很多人都把曹操看作董卓，并把他称之为曹贼。如果关羽真的跟随了曹操，那他的名声也会受到影响，会被谴责助纣为虐。
毋庸置疑，关羽是十分注重自己的名声、形象的，他自然是不愿意背负骂名的。
第二，关羽义薄云天，不愿意背叛刘备。
从刘备涿郡起兵开始，关羽就一直跟在刘备的身边，他俩之间的关系，虽然不是亲兄弟但早已超越了亲兄弟的关系。
十分注重这段兄弟感情的关羽，是不愿意背叛刘备，投降到刘备的敌人，曹操那里去的。
更何况刘备是汉室宗亲，还是汉献帝的叔叔，跟随刘备那就是匡扶汉室，对他关二爷的形象更是十分有帮助的。因此不管是出于情感上考虑还是名声上的考虑，跟随刘备都是最好的选择。
第三，刘备能给关羽的，曹操给不了。
在刘备阵营中，关羽向来是第二号人物。每当刘备需要分兵作战的时候，关羽总是可以独领一军。而刘备麾下的文臣武将们，不管是诸葛亮还是张飞，看到关羽都得客气一番。
换句话说，刘备不在的时候，关羽就可以代替刘备行使权力。
而这一点，曹操就给不了关羽。因为不管曹操再怎么欣赏关羽，曹操都不可能让关羽成为曹魏阵营的第二号人物。再加上关羽作为降将，曹魏阵营的许多文臣武将对他都是不服气的，甚至还会出现为难关羽的情况。因为在他们看来，关羽的出现，会导致他们的利益减少。
也因此，即便关羽跟随了曹操，那他在曹营里的日子，过的也不会太开心。而他在刘备阵营里，大家都对他客客气气的，换做是别人，也会选择继续跟随刘备。
第四，高傲的关羽也看不上曹操。
毫无疑问，关羽是高傲的，以至于孙权在他眼中，都只是个紫髯碧眼小儿。至于曹操，那不过是个宦官之后，他的父亲曹嵩又是个大贪官，关羽也自然会瞧不上曹操。
相比较之下，刘备虽然是织席贩履之徒，但再怎么说那也是汉献帝承认了的汉室宗亲，至少在身份上要比曹操崇高许多，关羽也自然会选择刘备，不愿意选择曹操。
也因此，在这几点原因的影响下，关羽便不愿意追随曹操。