1920年7月21日，直奉两军开入北京城，入城的头一件事便是对安福系成员悬赏缉拿。当天下午，段公馆遭到包围，段祺瑞的卫队被缴械遣散，仅留下二十名看门管事的家人。段祺瑞一时羞愤莫名，拔出手枪就要自杀，幸被家人夺下手枪，才未自杀成功。

此后，段祺瑞不逃不走，坐在家里静候直奉两军对他的处置，而且从早到晚一言不发，无论谁跟他说话，均以摇头作答。

7月下旬，徐世昌先是撤销对曹锟、吴佩孚的处分令，接着批准免去了段祺瑞边防督办等本兼各职。段祺瑞对此早有心理准备，让他感到难以接受的是，徐世昌还发布了“安福系十祸首通缉令”，下令对徐树铮、曾毓隽、段芝贵等十人予以惩办和通缉。这是让段祺瑞感到非常难堪的一件事，也意味着徐世昌完全背弃了他在战争结束前对段的承诺。

次年姜桂题去世，尽管这老爷子曾站在徐世昌一边给过段祺瑞难堪，但段祺瑞仍以老友身份前去吊丧。在乘车去姜宅的途中，他忽然长叹一声，对同车的曾毓隽感慨地说：“姜桂题死了，我应当去挥泪哭老友。可是徐菊人（徐世昌号菊人）如果万一有这么一天，我恐怕没有眼泪哭他。”后来有一次，他更对人说道：“菊人的人品实不足道，他要是死了，我连挽联都不会送！”

段祺瑞过去很少开口讲感情色彩如此浓厚的话，即便在与冯国璋闹矛盾时也是如此，足见他对徐世昌上台后的所作所为有多么痛心疾首。

“十祸首通缉令”发布的当天，北京城内的军警、便衣就倾巢出动，在各城门、要道以及东交民巷的出入口设置岗哨，十个人的相片则贴得到处都是，相片旁边还规定了多少不等，多至三万、少则三千的拿获赏格。徐树铮排在“十祸首”的第一名，赏格也是最高的，一旦拿获到案，即赏大洋三万元，徐世昌、靳云鹏及直奉系对他的仇视，可见一斑。

在通缉令发布之前，事先得到风声的这十个人就已逃遁，其中除一人进入华俄道胜银行外，其余均向日本公使馆要求政治避难，并先后被送进了日本公使馆护卫队兵营。他们都曾是政府要员，手头不缺钱，进入日本兵营后，物质生活上并不差，曾毓隽和段芝贵还每人花三千元钱，在兵营里盖了一座楼房，段芝贵住楼上，曾毓隽住楼下。

唯一让他们感到痛苦的就是不能自由出入。在他们进入日本兵营后，北京外交部即向日本公使馆交涉引渡。日本公使馆拒绝引渡，但在照会中答应将断绝“祸首”的对外交往及一切政治活动。

“祸首”都是搞政治的，对一个政客而言，没有什么比限制从事政治活动更让他们难受的了。徐树铮首先表现出强烈不满，认为这种在太阳旗下避难的生活将可能遥遥无期，形同软禁一般，必须想办法逃出去。

日本的民族特性之一是崇拜强者，哪怕这个强者曾是他们的对手，或战胜过他们。徐树铮曾在“莫负荒沙万里行”的过程中，将驻库伦的日军逐出库伦，可很多日本人恰恰对他的才干和学问非常仰慕。日本天津驻屯军司令部军需部门有一个叫小野寺的尉官就是如此，他与“祸首”中的一个人认识，从这个人口中知道徐树铮有出逃的意图，便马上让对方将他引荐给徐树铮，并自愿全力相助。

在研究出逃计划时，徐树铮曾问曾毓隽：“你看这样办稳当吗？”曾毓隽老实回答：有些冒险——谁都知道徐树铮与北京现政府和直奉结怨之深，如果被抓到，别人尚可活命，他绝难幸免。

徐树铮想了想说：“我们避居日本兵营，终非长久之计。过分的冒险固然不可，但为了家国事，一点不肯冒险也是不行的。我决定拼它一下！”

按照计划，徐树铮藏入了一只大号柳条行李箱。小野寺在这只事先买好的行李箱里垫了靠垫被褥，又在箱子上凿了许多气孔，上面用毛笔写一行大字“大日本帝国陆军用品”，借以掩饰。

小野寺利用日本兵夜间换防的机会，带着这只“随身行李”，在当天夜间离开东交民巷，上了前往天津的列车。当时中国政府对外国人来往车站的行李是无权检查的，小野寺因此一路畅通无阻。

徐树铮在途中吃了不少苦头，前后几个小时蜷曲在箱子里，手脚都麻木了。到天津时，他自己爬不出来，得好几个人把他搀扶出来，又替他按摩揉捏了半天，才得以行动自如。

小野寺将徐树铮偷运出兵营是他自己的行为，事前并未得到上级同意，为此他被调回国内，并受到革职处分。第二天，日本使馆被迫以照会的方式，将徐树铮已经逃亡的事实通知了中国政府。

徐树铮是第一个逃离日本兵营的，其逃离过程也最为惊险和曲折。以后随着政局发生变化，其他人也先后以各种方式离开北京，前往天津或上海的租界地。