五月二十日，也就是江都兵变之后的第十三日，宇文化及率江都小朝廷撤离江都城。撤离人员包括军队四万多人，以及六万多官吏、眷属、内侍、宫女、僧侣甚至是外族使节。至于物资，则是多不胜数。
为了运送这些人员和物品，宇文化及一共动用包括天子龙舟在内上千条船。这些船只从江都码头向北一字排开，几乎望不到头。
因为时间较急，而朝廷又没有合理地制定离开计划，从撤退开始，整个撤退便陷入一片无序之中。
先是宇文化及带着天子、萧后以及百官登船，这倒也算正常，毕竟要将天子安置在核心位置。
接着宇文化及便命令军队和携带的物资登船。
然后，就没有然后了。
所有的眷属、僧侣、内侍都是自行组织登船，别说安排登船路线，就连个登船顺序也没有。
于是大量的人员抢着登船，很快撤退秩序便开始混乱起来。
大街上、城门处、河道中，尽是争道之人。
人群拥挤，相互推嚷，鬼哭狼嚎，光是踩踏事故和落水事故，就发生了数百起。到处都是争执，到处都是哀嚎。
甚至有一些出不得城的官吏眷属，竟然命令家仆持棍棒开道。
后来，为了夺路和争船，众人就是持刀枪搏命了。
还有城中的无赖子，趁着朝廷大撤退的机会，伺机出来掳掠。这个时候，谁还管身份地位。一些没人护卫的家庭，直接就被抢掠了财货，甚至一些胆大的，连女人、小孩都公然抢夺。就连宫中的侍女，在撤退的途中，都不知道被掳掠了多少。
整个江都城中，几乎成了修罗场。
这场由撤退衍化的逃难，从一大早开始，到了傍晚也没有结束。船只走了一批又一批，可闹剧却像是没完没了一般。
不少人暗暗祈祷，幸好黄维扬没有杀过来，否则就得是大崩溃啊。
当然这些闹剧宇文化及是不知道的。他早在禁军主力护卫下，坐着又大又舒服的龙舟离开了。
当初杨广南下江都，嫌龙舟数量太少，于是又命人再打造三百艘巨大龙船。可惜船成之后，杨广却再也没有离开江都，这些龙舟现在都便宜了宇文化及。
众人向北，一路撤到高邮停歇。
在高邮，宇文智及又派人收拢了驻扎在此地的樊文超、张童儿二部。樊文超二部是杨广留在高邮看守北大门的，虽也是禁军，但跟江都禁军没太大牵扯。
宇文智及建议宇文化及厚封二人，而二人也因为天子已死，没了去处，遂投入宇文化及麾下。
多了两万多军队，宇文化及实力提升了一半，回关中的底气更足了。
收降樊文超和张童儿，高兴了宇文化及兄弟，但有人又不高兴了。
江都之乱，造反的是禁军，获得最大成果的却是宇文兄弟。虽然宇文兄弟掌握了政权，但宇文智及并不敢放松对禁军的警惕。
毕竟禁军可以反天子，也能反宇文家。
于是宇文智及建议兄长明升暗降，分了司马德戡和元礼的兵权。不过这只是治标不治本的手段，军中的兵权依旧掌握在二人部将手中，时刻威胁宇文化及的地位。
收降樊文超和张童儿之后，宇文智及手中多了两张牌可以打，军事上不用再完全依仗司马德戡了。
为了进一步打击司马德戡的威望，削弱司马德戡的实力，宇文智及采取抬高樊文超和张童儿的手段，不仅使二人的部队和造反禁军一个地位，还屡屡在司马德戡面前抬高二人，贬低司马德戡。
如此手段，终于激怒了一直对宇文化及兄弟不满的司马德戡。
这日分配粮食，宇文智及故意先给樊文超、张童儿、陈智略等人所部分配，而把司马德戡的亲近军队放在最后。
不仅如此，宇文智及还故意克扣其部的粮食，并以坏充好。
司马德戡的部将不忿，找到了司马德戡。司马德戡如何看不出宇文智及的用意，只恨得牙痒痒。
司马德戡本想找宇文智及理论，但不少人都认为如此无用。
一些司马德戡麾下的将领甚至认为，就是他们之前太软弱了，才让宇文智及得寸进尺，一步一步将他们逼到绝路上。再退下去，他们就没活路了。
司马德戡作为老大，无论如何，得护持住手下小弟，否则谁愿意给你卖命。
于是在部下的撺掇下，司马德戡带着人砸了粮船，还打了负责分配粮食的官吏。
这可捅了马蜂窝。
宇文智及立刻招来了司马德戡，狠狠地将对方训斥了一顿。司马德戡也是心中含怨，又愤恨宇文智及手段的毒辣，当场和宇文智及争了起来。
两个国家重臣，在朝会上像流氓无赖一般，大喊大叫，就差动手了。
这般场面，哪有人见过，皆是瞠目结舌。
而宇文化及更是惊慌失措，根本无力约束二人，只得暗暗生气，又无可奈何。
回到自己船上的司马德戡，仍是气愤填膺，不能自已。
“他宇文智及算什么东西，若没有咱们杀了杨广，他还是刚脱了奴隶身的罪吏，江都城中，狗都不如。这时候倒给咱显摆上了，也不看看他靠的的谁？”
“将军慎言！”
跟着司马德戡一同回家的赵行枢连忙劝道。
这些日子，因为跟宇文智及恶化的关系，赵行枢跟司马德戡又重新走到一起。
司马德戡倒是很信任他，连一些话都不避讳。
此时司马德戡的愤怒劲尚未过，便言道：“当初你找来司马德戡，真是害我不浅！当今治平乱世，得靠才识卓绝之人，宇文化及没才能又怯懦糊涂，整天听信宇文智及的话，而且一群小人在他身边，这样下去，肯定要坏事，你说怎么办？”
赵行枢也后悔，可于事无补。
于是赵行枢赶忙说道：“军队都在咱们手中，实在不行，咱们就是废除他又有什么难？”
赵行枢本是随口一说，但司马德戡却来了兴趣。
要是废了宇文化及，这大丞相不就是自己了。自己带着这些人返回关中，就是不能称王称霸，送给李家，也是份厚礼，最起码也能得个开国功臣的待遇。