鲁定公十三年春天，孔子辞掉了鲁国大司寇的职位来到衛国。在这之前，孔子曾经因为三年前协助鲁国制止齐人挟持鲁公，并且迫使齐景公将汶阳、龟阴之田归还给鲁国的一场弱国外交胜利而大获鲁定公的信任。因而举凡孔子的建议都能很快得到鲁公的支持。这次，孔子再次建言鲁公拆掉三桓城邦，以避免私人割据势力的扩张，巩固鲁国的王室，其中也得到三桓中季桓子的支持，但是孟懿子却不愿意配合，这样的阻力下来，竟导致季桓子也不再全力支持孔子拆掉三桓城邦的计划。最后这个计划终于失败。
另一方面，在齐景公那边，则是为了避免鲁国势力的扩张，暗中挑选八十名美女送到鲁国，希望能够透过美人来迷乱鲁国国君的心志，销蚀鲁国进行政治改造的企图心。果真，在美女送进鲁国国境以后，鲁君自此整日沉迷于声色之中，三日不早朝。为了这个原因，孔子痛心地辞去大司寇的职位，离开鲁国，开始他长达十四年的飘泊生涯。
最先孔子来到衛国，他知道安于逸乐的衛靈公实在也不是自己想要辅佐的国君，但是为了实现自己的政治理想，他还是抱著希望，继续客居衛国。
孔子在衛国的期间，仍一如往例，不忘记吟诗、弹琴以及击磐以怡身心。这天，孔子又开始击磐自遣的时候，突然一位挑著草筐子的人从孔子门口走过，他停下脚步来，仔细聆听孔子击磐的声音，接著说道：“多么有心的人啊！”说完，不到一会，他又说：“可惜从他的声音里听得出他的心志是那样的固执浅陋，以及充盈著对现实的不满！既然世人不赏识你，那干脆就隐退算了，何必还要四处飘泊，如诗经所说“遇到深水便和著衣服渡水过去，遇到浅水却撩起衣裳涉水过去。””说完，便吐了一口唾沫，转身要走开。
就在这个时候，孔子的弟子看见这个情景，于是转头过去将这事告诉孔子，孔子听完不觉叹息著说：“要独善其身并不是一件困难的事情！困难的是要知道世事不可为而偏要去改善，这才是一件困难的事情啊！”