《西游记》里面记载孙悟空一共有三次离开唐僧：
孙悟空第一次被唐僧误解离开唐僧，是《西游记》十四回：心猿归正，六贼无踪。
那是孙悟空刚拜师的时候，有伙山贼抢劫他们，然后被孙悟空打死了几个，唐僧看到悟空杀了生，然后说了悟空，后来悟空离开去了龙宫玩，看到龙宫墙上有一幅拜师画，然后想到自己拜师的经过和唐僧对自己的好，又回去了，刚好这时观音给了唐僧紧箍咒。
相关文段：
悟空被唐僧从五行山下解救出来后，于是便做了他的徒弟，保着唐僧踏上漫漫西天路。不料很快就遇上了一伙占山为王行凶强盗：一个唤做眼看喜，一个唤做耳听怒，一个唤做鼻嗅爱，一个唤作舌尝思，一个唤作意见欲，一个唤作身本忧等六个山贼。强盗们要抢劫唐僧师徒行李，还出言不逊，结果惹恼了孙悟空。
行者伸手去耳朵里拔出一根绣花针儿，迎风一幌，却是一条铁棒，足有碗来粗细，拿在手中道：“不要走!也让老孙打一棍儿试试手!”唬得这六个贼四散逃走，被他拽开步，团团赶上，一个个尽皆打死。
本来是为民除害的一件大好事，却被素以慈悲为怀的三藏训斥道：“你十分撞祸，他虽是剪径的强徒，就是拿到官司，也不该死罪。出家人扫地恐伤蝼蚁命，爱惜飞蛾纱罩灯。你怎么不分皂白，一顿打死?全无一点慈悲之心。
悟空道：“师父，我若不打死他，他却要打死你哩。”三藏道：“只因你没收没管，暴横人间，欺天诳上，才受这五百年前之难。今既入了沙门，若是还象当时行凶，一味伤生，去不得西天，做不得和尚，忒恶，忒恶!”
悟空第二次被唐僧误解离开，是《西游记》第二十七回： 尸魔三戏唐三藏 ，圣僧恨逐美猴王 。
唐僧的迂笨和毫无主见使他对孙悟空的一次次倾力相救而斥为居心叵测。狡猾的白骨夫人正是看穿了唐僧这一点所谓的菩萨心肠，因此才冒着被孙悟空棒杀的危险，先后三次变换身形，分别以女儿、娘亲和老父的样子，来试图迷惑唐僧师徒。
那就是比较出名的三打白骨精的时候啦，后来是在下一个国家唐僧被妖怪诬陷是虎精，后来白龙马让猪八戒去找孙悟空回来救师傅，孙悟空救了唐僧后正要走，唐僧这时已经明白三打白骨精误会了悟空，要悟空留下来，说真的这一段还挺感人的。
第三次是在第二部里面，真假悟空，也是一样假悟空冒充真悟空，被唐僧误会了，后来真假悟空在一起打了起来，被如来佛祖分了出来，假悟空也是猴子变的，是六耳狲猴。然后孙悟空就回到唐僧身边了。
扩展资料：
《西游记》是中国古代第一部浪漫主义章回体长篇神魔小说。现存明刊百回本《西游记》均无作者署名。清代学者吴玉搢等首先提出《西游记》作者是明代吴承恩。这部小说以“唐僧取经”这一历史事件为蓝本，通过作者的艺术加工，深刻地描绘了当时的社会现实。
全书主要描写了孙悟空出世及大闹天宫后，遇见了唐僧、猪八戒和沙僧三人，西行取经，一路降妖伏魔，经历了九九八十一难，终于到达西天见到如来佛祖，最终五圣成真的故事。
《西游记》自问世以来在民间广为流传，各式各样的版本层出不穷，明代刊本有六种，清代刊本、抄本也有七种，典籍所记已佚版本十三种。
鸦片战争以后，大量中国古典文学作品被译为西文，《西游记》渐渐传入欧美，被译为英、法、德、意、西、手语、世（世界语）、斯（斯瓦西里语）、俄、捷、罗、波、日、朝、越等文种。中外学者发表了不少研究论文和专著，对这部小说作出了极高的评价。
《西游记》是中国神魔小说的经典之作，达到了古代长篇浪漫主义小说的巅峰，与《三国演义》《水浒传》《红楼梦》并称为中国古典四大名著。
参考资料：百度百科-西游记