关羽、张飞两路得胜，各领兵前进。关羽这一路距离江州近，虽有潘璋领兵三千阻击，但关羽兵多，击败潘璋也是迟早的事。而张飞这一路虽远，但徐盛已经全军覆没，张飞一路进兵畅通无阻，若不分兵阻击，张飞也将很快攻到江州。
消息传到步鹜耳中时，步鹜顿时也有些着慌，当下急忙分派邓铜领本部族兵五千东进去抵挡张飞，随后又严令潘璋固守符节，绝不能让关羽通过。
此时步鹜已经预感到自己可能会战败，当下顾不得再展现仁德了，命令各军在境内强征青壮为兵，激起了百姓不满。刘备闻知，当下分派出身益州的王甫、李邈二人潜入巴郡，联络了当地大族杜义、杜睿兄弟，这二人到不觉得步鹜强征青壮为兵有什么不对，但却也敏锐地感觉到步鹜不是刘备的对手，迟早将会败亡。
捧高踩低、追随胜利者是绝大多数人的天性，杜义、杜睿二人既有实力，也有攀附强者，建功立业之心，当下在王甫、李邈的游说下立即就决定起兵响应刘备。
杜家在巴郡极有势力，有私兵僮仆三四千人，更与巴人世代通婚，当下杜义、杜睿立即联络巴郡部落，又派出信使欲要说服东进阻挡张飞的邓铜一起投效刘备。
步鹜也是文武双全的将相之才，治理巴郡数年，根基已经稳固。杜义、杜睿的异动很快被步鹜查知，当下步鹜大惊失色，急忙留凌统驻守垫江，自领郡兵连夜赶回巴郡，趁着杜义、杜睿尚未正式举兵，兵力未曾集结完毕的时机，以迅雷不及掩耳之势击破二人私兵。
杜义、杜睿见势不妙，往南逃入大山，进入南川地区依附巴人部族去了。
步鹜稳固了江州，正要领兵再次北上增援垫江，就听东进的邓铜在王甫、李邈二人以及杜家兄弟的书信游说之下已经反叛，全军投效了张飞。
步鹜闻讯大惊失色，只觉大势已去，当下传令凌统、潘璋焚烧城池，全军退回江州会合。
不数日，潘璋、凌统领兵退回江州。步鹜统合各军，尚有一万二千人，但步鹜却深感墙倒众人推，这几年虽然治理巴郡卓有成效，但在如今强弱悬殊之际，巴郡豪族却仍旧大多归附刘备。因此步鹜深觉心寒，觉得死守也守不住巴郡。而从鲁肃东出失败之后，江东其实已经不可能越过荆州，出兵争夺益州了。于是步鹜思前想后，决定趁着实力尚存，迅速东出返回江东。
不过步鹜也非善茬，心底决定撤离，面上却不动声色，除了往船上装了许多粮草、金帛，又有意识地驱赶百姓出城逃避战祸之外，其他都并无动静。
然后，等刘备、关羽、张飞三面合围江州之时，步鹜佯装不敌，引刘备军进城，随后点燃预先准备好的柴草，一举焚烧城池，最后纵兵冲杀，一举杀伤刘备军三四千人。
得胜之后，步鹜焚烧府库，领兵退到船上，径自扬帆东进，顺江出川而去。
陈应、霍峻等人看见巫峡之上冲出大队船只，因此点燃烽火，向下游示警。
然而步鹜却并不进攻沿江城池关隘，只顾催船东进，一心逃回江东。
刘贤在夏口，听了斥候传来的消息，当下决定在此拦住步鹜大军，并将之吞掉。
当下刘贤分派快船东进，叫停了烽火，并传令驻兵浔阳的庞统立即率领吕介、胡济两营水军溯江而上，组成第二波拦截力量。
大军顺江而下，虽然快捷，但上万大军行动却不比一两艘快船，始终不可能真的一日千里，士兵需要时间埋锅造饭，更要需要时间休息睡觉。若有沿途郡县接应，那么倍道而行的话，能够做到日行五六百里，但若没有沿途郡县接应，那么日行三百里已经是极限了。
步鹜大军从巫峡赶到夏口，一共用了三天。刘贤早已将大军布置停当，专等步鹜到来。
主力大军在夏口排列整齐，堵住江心，鲍隆的三千水军则埋伏在汉水之上，待主力与步鹜交上手之后，再突然杀出，袭击步鹜水军后路。
步鹜之兵本就是数千里奔驰而下，全军困顿，全凭着一口气撑着，被刘贤挥兵前后夹击，顿时大败，只得弃了辎重粮船和不善水战的五千巴郡郡兵，统领其余兵马奋力杀出一条血路往东逃去。
刘贤将王平、程郁、张嶷三部兵马留下抓捕俘虏，打扫战场，自率郝昭、张翼、鲍隆等追击步鹜，一路咬住步鹜船队穷追猛打。
当夜天色渐晚，刘贤却无半点收兵的迹象，催促士兵用了干粮清水便即迅猛追杀。
而步鹜之兵经过数千里跋涉，又经白日一战，失了粮草辎重，全军饥饿困乏至极，眼见刘贤连夜追击，丝毫不给自己半点喘息的余地。步鹜顿时又惊又怒，对凌统、潘璋二人道：“刘贤连夜追击，这是不给我们留活路啊！如今大军困乏不堪，桨手已无力划船，自能顺水飘下，速度减慢，恐怕是摆脱不了刘贤的追兵了。”
潘璋道：“何不留下一支兵马阻敌，其余大军便可趁机逃走了。”
凌统道：“大江之上，无遮无拦，若留下少量兵马，瞬间就会被敌军吞没，如何能够阻敌？”
潘璋道：“你若害怕，便只管领兵逃走，我领一千兵，三十艘船在此断后，必不叫刘贤越雷池一步。”
凌统闻言大怒道：“我自十余岁从军，至今也算身经百战，哪一次不是身先士卒？什么时候逃走过！你若要逃，便自领兵逃走，我留下为你抵挡刘贤就是。”
潘璋也自大怒，道：“本是我要断后，偏你要抢？”
二人当时对骂，步鹜看见，拍案喝道：“此时岂是内讧之时？我意已决，留潘璋领兵一千断后，凌统为前锋，大军昼夜不停，返回江东。”
于是潘璋领兵一千留下，便在江心停住船只，阻击刘贤追兵。
刘贤远远望见潘璋船队，不由笑了一下，当即命郝昭领兵居中，鲍隆、张翼分居左右，包抄潘璋。
潘璋船少，遮挡不住左右江面，瞬间被包围起来，奋勇厮杀了一阵，刘贤见潘璋虽然伤亡惨重，却依然死战不退，当下道：“江东忠勇之将的确不少啊！”当下刘贤命张翼领兵继续东进，追击步鹜，自督率郝昭、鲍隆等人围杀潘璋。
战了小半个时辰，潘璋所部伤亡过半，全军奔溃在即，潘璋正没奈何，就听部将马忠突然指着前方道：“将军你看，前面大船之上插着刘字大旗，船上设有金鼓黄旗，必是刘贤的坐船。我们奋力冲杀过去，擒了刘贤，此次便还能有一条活路。”
潘璋闻言，顺着马忠的手指看去，果见刘贤的船只就在前方。当下潘璋大喜，激励士卒奋力杀向刘贤。
潘璋的异动很快被观战的刘贤发现，当下笑着对身旁文武众将道：“潘璋自恃勇武，竟想一举擒王。勇气可嘉，不过却也有些自不量力了。”
当下刘贤留杨狼护卫在身旁，分派木鹰、塔利上前擒拿潘璋。
二将领命，各驾一艘战船前出。木鹰一边前进，一边大声呼喊，以壮士气，那边马忠看见，当即张弓搭箭，一箭射中木鹰前脸，那箭射透脸皮，射落了两颗大牙。木鹰痛叫一声，翻到在了船上。
满船士兵，尽皆大惊。旁边塔利看见大怒，当下也张弓搭箭，照准马忠怒射。
那轻飘飘的竹箭顺风飘去，正中马忠手臂，马忠手上的弓箭应声而落。
当下塔利催船急进，船上士兵箭如雨下，皆朝潘璋射去。潘璋手持刀盾，遮挡羽箭，命令士兵奋力划船，往刘贤而来，指望活捉刘贤。冷不防旁边一条船飞速靠近，船上的光头蛮兵纷纷照准潘璋扔出了藤网，瞬息之间，站立船头的潘璋便被十几张藤网网住，栽倒在了船上，动弹不得。
两边士兵随即跳船而过，一拥上前，将潘璋、马忠尽皆擒住。
战事结束，刘贤急忙上前查看木鹰伤势，见其虽伤了脸面，算是破了相，不过却也性命无忧，当下急令军中医者救治。随后又去看被俘获的潘璋和马忠。
潘璋并未受伤，只是没吃晚饭，奋战半夜，如今被擒获之后，饥饿难当，嚷嚷着要刘贤给一顿饱饭吃。当下刘贤命伙头兵弄了些酒菜来，潘璋接过，与马忠一起毫不客气地蹲下就吃。
刘贤看了看马忠手臂上的箭伤，随后转头看了看塔利，就见塔利点了点头，示意自己用的的确是毒箭。当下刘贤仔细打量了马忠一眼，笑道：“我刚刚看见这位将军射术极准，船上又打着马字大旗，想必是马忠，马将军吧？”
马忠闻言一愣，看着刘贤道：“刘将军也知道我的名字？是不敢当将军之名，我如今只在潘将军麾下，任军司马一职。”
刘贤笑了笑，道：“可惜，可惜啊！”
马忠讶道：“可惜什么？”
刘贤道：“可惜马将军功名未立，就要死于此处。”
马忠闻言，沉默片刻，低头道：“败军之将，既已被擒，是生是死，自然全凭刘将军一言而决。”
刘贤笑道：“我实是想要招降将军。可惜将军如今身中毒箭，命不久也！我虽有解药，却恐将军不愿投降。若是一心求死，我也就懒得给你解药了。”
马忠闻言，高声叫道：“孙子才想求死呢！马忠愿意投降。”
刘贤惊讶地道：“你怎么投降的这么爽快？”
马忠道：“我从军近二十年，多立战功，如今也才是个军司马！何必为孙氏陪葬？”
刘贤闻言大喜，当下扶起马忠，对其道：“南疆毒箭，本来是无药可解的。不过我荆州如今有神医华佗之高徒吴普在，他能解此毒。”
当下刘贤命一艘快船，送马忠去江陵求吴普解毒。