孔子先到了卫国，卫灵公接见了孔子，并给他在鲁国一样的待遇，借此炫耀其“尊贤”。孔子十分高兴，踌躇满志地想在卫国实现他“仁政德治”的主张和理想。但平庸的卫灵公对孔子的政治主张丝毫不感兴趣，他给孔子优厚的待遇只是想借孔子这块招牌，炫耀他“招贤纳才”的好名声罢了，其实孔子并未受到重用。孔子在卫国住了几个月，从没参与过卫国的政事。这时有人在卫灵公面前说孔子的坏话，诬陷孔子是鲁国的奸细。于是卫灵公派人监视孔子的行动，孔子担心早晚要遇到麻烦，便急急忙忙地离开了卫国。
此后孔子又去了曹国、宋国、郑国、陈国、蔡国等诸侯国，希望得到国君的任用，以便推行他的政治主张，结果却是四处碰壁，还差点丢了性命，但孔子非常乐观。
孔子到了蔡国的第三年，吴国攻打陈国，楚国派兵援救陈国。楚昭王听说孔子住在卫国和蔡国之间，就派人去请孔子。孔子十分乐意，打算去楚国大干一番。
陈、蔡两国的贵族得知消息，怕孔子到了楚国，对他们不利，就派兵去抓孔子师徒，孔子一行为了避祸走进一片旷野，无安身之地。孔子他们被困住了，无法逃脱，随身带的粮食也吃光了。弟子们全都饿得无精打采，但孔子却照样不停地给他们讲学。
子路满脸怒气地对孔子说：“难道君子也会有困窘的时候吗？”孔子和颜悦色地开导他：“君子和小人都会遭遇困窘，但君子在穷困时仍坚持自己的信念，而小人面对穷困就会无所作为了。”
孔子看到子贡也是一肚子不满意，便问他说：“子贡啊，你认为我是个博学强识的人吗？”子贡说：“当然是了，这还有什么可怀疑的吗？”孔子笑笑说：“你这就说错了。我只不过能始终如一地坚持学习，并且找出其中的错误，然后改正。”
孔子知道弟子们对目前的处境都心怀怨气，便想趁着这个机会教导他们应该如何坚守节操。
孔子先叫过来子路，问道：“你是不是认为我们的学说有什么不对的地方？要不然我们为什么会落到如此地步呢？”子路毫不隐讳地说：“我认为我们不够仁德，所以别人才不信任我们，不重用我们；我们的智谋也很低，以致于被围困在这个地方。”
孔子反问他：“真是这样的道理吗？子路，假如有仁德的人就会受人信任，那么伯夷、叔齐为什么还会被饿死呢？假如有智谋的人就能够畅通无阻，那么聪明的比干又怎么会被剖心呢？”
子路一时不知如何回答。
孔子又问子贡：“你是不是认为我们学说有什么不对的地方？”子贡想了一想说：“先生您的学说博大精深，但正是因为它太精深了，反而使各国都不采纳您的学说，您为什么不降低一点要求使国君都乐于采纳它呢？”
孔子说：“子贡啊，好的工匠虽然手艺高超，但他制造出来的器具却未必能使人人都满意；好的书并不是人人都喜欢读，君子能够不断完善自己的学说，用法度规范国家，用道德统治百姓，但却不能保证一定会被君王所采纳。现在你不想着如何做好自己应该做的事情——完善我们的学说，而是一门心思去迎合当权者的需要，这种志向太不远大了。”
孔子又把这个问题向颜回说了一遍。颜回慷慨激昂地对孔子说：“先生，您的学说伟大极了，因此普通人理解不了，但不被理解、不被采纳又算得了什么？正因为如此，才显示出您作为君子不迎合世俗的高尚情操。我们应该继续坚持不懈地推行它，总有一天贤明的君主会运用它治理国家，实现我们的主张。”
孔子很受感动地说：“有道理。如果你是个统治者，我愿意在你的手下为你服务！”
后来孔子派子贡面见楚王求救。楚王派兵去接孔子，孔子师徒才摆脱了困境。
孔子又先后到了楚国、卫国，直到68岁才回到鲁国，结束了十四年的游历生活。虽然游访各国，备尝艰辛，一事无成，但孔子仍壮心不已。