321年，晋元帝为了对付王敦，任命戴渊为征西将军、都督司兖豫并雍冀六州诸军事、兼任司州刺史，持符节，出镇合肥。
祖逖闻之，心下一动，他认为戴渊虽有名气，但不够远见卓识，居然受到如此重用，相比之下，自己辛苦收复河南，抗击石勒，威慑王敦，战绩众多，北伐之路都被打通了，却仍不得朝廷重用，令人心生沮丧。
又听说王敦声势浩大，不但掌控了长江中上游的军队，而且统辖州郡，自收贡赋，几乎断了祖逖的粮道，极大地阻挠了祖逖的北伐，更是令人郁闷。
同时戴渊的到来还暗示着一个更大的麻烦，说明王敦对东晋政权造成了极大威胁，司马睿想调动他去平息内乱，朝内矛盾日益尖锐。现在都什么时候了，还有心情搞内斗，这晋朝还能看到希望吗？他忧心如焚，担忧北伐大业难以实现，心情激荡难免生了病。
王导和庾亮等人听说祖逖身体欠安，居然从建康赶过来，看望祖逖。
祖逖虽然心内痛楚，胃内翻滚，还是装作没事人一样，和两位谈笑风生。
王导忽然看见堂下有很多皮袍，相当名贵，一叠一叠的，排得满满的，很是乍眼。
王导和庾亮等人感到很是奇怪，看祖逖居室简陋，一无装饰，怎么还有这些东西？于是笑着问祖逖这是哪里来的。
祖逖抿了抿嘴，笑道说：“昨天夜里，他们又出去走了一趟。”
王导等人心下了然，这是又出去劫富济贫了！祖逖并不迂腐，有时候还很江湖，所收募的宾客，多为江湖义士，刚烈忠勇，而他对他们也不客套，就如同兄弟子女一样，因此这些忠勇之士，甘愿为祖逖效力。
从扬州开始，闹大饥荒时，这些门客时常去打劫富豪之家，然后周济百姓，祖逖知晓后也假装不知，并不阻拦，反而是默许了他们的行为。
有时候见他们大包小裹地往府里拎东西，还揶揄他们说：“你们又到南塘外面跑了一趟吗？”
这些义士都笑而不答。
当然人有失手，马有失蹄，遇到豪强之家戒备森严，也有不小心被当地差吏抓获的时候。
祖逖都会想办法把他们营救回来，弄得这些豪强哭笑不得，翻脸吧，犯不上又惹不起，都是些钱粮珍宝，又不害人伤命，不翻脸吧，这也太憋屈了！
王导拍了拍这些皮袍，笑道：“好东西，都是上好的貂皮，正好冬天御寒之用！”
祖逖也轻咳了一声，没有接话。
“你的身体怎么样了，吃的什么药啊？可好些了？”王导是真关心，并没有什么沟沟叉叉的恶意。
祖逖虽然心内忧郁气愤，但是面色缓温和，道：“好多了，我一会儿还得出去，城南没有坚固的屏障，一旦有军事发生，可不是小事，正派人营建修缮武牢城，工程进展有点慢呢！”话语当中透露出一丝忧虑。
王导看了看他道：“军事要塞修建总是费时费力，你也不要着急，让手下人看着就好，也不必亲力亲为的，倒是要保重身体才是最重要的，我从江南来一趟不容易，可有什么事，需要我顺便帮你办理的？”