虽然杨过对全真教没有太多好感，但至少对丘处机还存有一些敬意。他没有料到，丘处机会临时变卦，心情变得异常糟糕。
眼见得到先天功秘笈已是天方夜谭，杨过连招呼都没有打便离开了全真教。一路上，他不住地叹息，后悔自己不该白跑这一趟。
杨过明白，修炼先天功需清心寡欲，摒弃男女之情。他并无意修炼此功，只是对这门武功心存忌惮，担心日后再遇耶律齐，想提前寻找一下此功的破绽。
由于全真教日渐势微，几乎不再参与武林之事。下山之路久未修整，杂草丛生，恰逢雨后，道路变得泥泞难行。
杨过小心翼翼地走着，生怕步伐过快而陷入泥潭。自从离开终南山以来，他向西跋涉，日行百里。
杨过只想快点返回襄阳，然而天有不测风云，当夜幕降临时，乌云突然聚集，一场暴雨如箭在弦即将落下。
“怎么这么倒霉！”
杨过抬头仰望漆黑的天空，内心一片迷茫。他奋力奔跑，试图在暴雨降临前找到避雨的地方。
电闪雷鸣，长空破裂。
眼见一座破庙就在眼前，杨过心中暗喜。然而，还未等他走进去，暴雨便倾盆而下，将他淋了个透心凉。
杨过在站在破庙里，茫然地望着天空。由于全身湿透，他感到十分难受，在黑夜中摸爬着前行，不料竟走到了桃林塞的地界。
虽然已是子时，但市井行人依旧熙熙攘攘，家家户户灯火辉煌。杨过感到有些难以置信，嘟囔道：“没想到宋蒙交战之后，这里竟还如此繁闹。”
杨过找了一家客栈落脚，将衣服用火烘干之后，突然感觉腹中饥饿。看着街上繁华的景象，他忍不住走出客栈，在一个小摊面前坐了下来。
见老板夫妇正忙碌不已，杨过静静地等待着。
这时，一位身材魁梧的男子朝杨过走了过来，语气粗犷地说道：“小子！这个位置是我的，识相的话赶紧给我到别处去。”
“你叫我到别处去吗？”
杨过眉头紧锁，内心涌起一丝怒火。虽然很想教训一下眼前之人，但他觉得强龙不压地头蛇，于是选择忍让。
见杨过主动让出位置，男子觉得杨过是个软弱之人，于是走向杨过，将自己吃剩下的面食朝他的头倒了下去，厉声威吓道：“你碍了我的眼，要么赶紧向我道歉，要么爬着离去。”
“你找死！”
杨过伸出手轻轻抹去额头上的油渍。此刻，原本强压着的怒火再也无法抑制。他朝着男子打量了一番，紧接着一拳将其击倒在地。
男子在地上痛苦地哀嚎，许久才挣扎着站起来。他试图挽回颜面，不料又被杨过一拳击倒在地。
“有种待在这别走，我这就叫人过来教训你。”男子被杨过打得鼻青脸肿，只能愤怒地离去，口中还不乏恶语相向。