杨镐面对水陆两方皆处被动的局面，他选择了继续进攻，首先传令各营造火炬备夜战，而后又重新调整了兵力部署。
右协继续围困岛山并预备攻城事宜，同时加派李时吉和成允文增援箭滩的摆塞、颇贵，这样就能在北岸由西向东形成三个防守区域：摆塞、颇贵应对箭滩南山的援军；李如梅、解生在箭滩和倭城之间防范倭寇由江上登陆；吴惟忠、茅国器在岛山城下的太和江北岸与东川西岸设防。
至于祖承训和南岸明军，自倭寇船只封江伊始，这部分明军只有听天由命了，否则只能是弃子。同样还有西江口的卢继忠，东面四里是倭寇盐浦据点，距西面庆州撤退方向有二十二里之遥，但随时都能被江上水师登陆所截断。封江之后，卢部同样也与岛山城下的联军本部失去了联系，没人知道西江口到底发生了什么。
岛山城内的‘饿殍’们，大概知道再过一两天，他们就能得救，强大的求生意志支撑着每个人。而且围城围到现在，明军的防守早就松懈下来，‘使节’能每日自由进出城内城外，不断给城内传递着消息。
明军的防守就像个筛子，处处都是漏洞，却无人在意。
四日零时，一切准备就绪的右协在杨镐指挥下，最后一次对岛山发起了大规模进攻，战斗一直持续到黎明，其惨烈程度如同二十五日的那场战斗。
但气势却相差万里，明军苦于艰苦的野外条件，围城十多日，士气早就一落再落，反之城内的加藤部众，因为强大的求生欲望支撑反而越战越勇。他们不惜耗尽所有的储备弹药，弹丸如雨一般射到城下，联军伤亡惨重，即便这样，也依然没能登城成功。
杨镐也急了，挥刀先斩退缩的士兵，而后又把畏战的保定游击李化龙绑于军前以正军法。诸兵营见此，只能冒死进攻。
交战之际，城中又传出伪书，假称会有几万大军前来救援，右协得其书后报与杨镐和麻贵。两人见四周情景，江面、陆上倭寇的旗帜四处飘扬，竟深信不疑。再看他们手下的将士，饥饿疲惫，士气低落……若再不退兵，恐真的要被包夹。
此时尚未决出胜负，但杨镐知道，明军已经败了，而且还是一败涂地。最终他决定撤兵，接伴使李德馨还努力劝说杨镐放弃撤兵想法，但打脸的是，早在联军还在战场上占尽优势的时候，朝方趁乱逃走者就已过半，如今李德馨还慷慨激昂的劝说明军留下……杨镐岂会听他慷慨激昂的废话？
到了正月初四，杨镐下令攻城部队全部撤出战斗，准备撤军事宜。巳时初，命令正式下达下去，全军开始渐次撤退。伤病先由东路向庆州先行撤退，同时还要设法将才运至蔚山的军粮全部转运回庆州，实在带不走的要全部烧掉。
此外，杨镐还安排箭滩北岸的摆塞、颇贵，城西的李如梅、解生领骑兵准备殿军，还加派杨登山的游骑协助摆塞。同时，箭滩南岸的祖承训部、吴惟忠部、西江口的卢继忠部已成弃子，根本无力救援。
城上的加藤部众首先发现了城下围城的明军向北面山中撤去，这一刻，他们内心应该狂喜不已，终于侥幸活了下来。
未时末，鹤城山的明军本部撤下，包括岛山城下的吴惟忠、茅国器部兵均已依令撤下，唯独箭滩南岸的明军，杨镐连传令都未传。
撤退的同时，杨镐还一再查看余粮是否已烧尽，盔甲辎重等物是否已焚烧，待打扫完战场，殿后的骑兵也追上时，已是申时。
而驻足于南岸的倭寇援军先前并未发现明军已撤，直到察觉鹤城山上的明军本部已撤，焚烧的烟雾四起，才恍然醒悟，这才开始救援战斗。
而在箭滩南岸的明军，在祖承训带领下，竟出乎意料的抢先向南山上的倭军发起攻势。即便他们已沦为弃子，仍然在忠于使命与敌搏杀。一番厮杀下来，南山二、三番队援军就这样生生被已成弃子的明军拖住而无法渡江。
在倭城对岸一番队的黑田长政，蜂须贺作为先锋，本应渡江开始救援，然而两人却十分畏惧明军，迟迟不敢行动。黑田两人的畏战，让在后方立阵的吉川有些看不下去，想自己做先锋，不料却被同行的安国寺责备不依军令。吉川立马反驳，之后他便率部渡河先登。
有了带头的，一番队终于行动起来，在船队配合下北渡太和江，与他们几乎同时渡江的还有在东川西岸的船队。岛山城内的‘饿殍’们苦苦支撑了十数日，终于见着了黎明前的一丝曙光。
用尽最后一丝力气打开城门，然后嘶吼着，像疯子一样冲出城，对滞后的明军展开最后的生死一击——要么死，要么活！
其实这时明军的大部已经撤离，对于城下太和江岸的守备更是松懈，殿后明军本来面对的就是三面夹击，这刻也只是稍作抵抗就被突破了防线。
吉川率先在太和江北岸站稳脚跟，并未就此停下，而是继续向东北方的兵营城迂回，随即又进驻此地，切断了联军向东的退路。
由此也逼得杨镐改变路线，他本想从兵营城渡过东川向庆州撤退。如此一来，就只能选择西退，但江面上的倭寇船队又趁机登陆，持铁炮向明军追击。
好在后面赶到的摆塞、杨登山带着骑兵反冲锋，先射杀了几名，这才让倭寇的追击停止，摆塞又连斩八枚首级，余众顿时慌乱不已，被摆塞等人一路驱赶着重新回到船上。
又幸得南岸的弃子明军殊死一战，拖住了二、三番队不能渡江，才让杨镐率部顺利逃过倭军的两面夹击，继续西退。即便已经渡江的倭军也不敢过分紧逼，只能等待岛山周边兵力集结，遂眼睁睁看着明军西撤，不敢穷追。
但援军也趁机将补给运至岛山城下，明军一撤，岛山之围随即解除。城内的‘饿殍’们见到粮食无不两眼冒着绿光，后喜极而泣……
有了米立即煮米成粥，只不过，饥不择食者多有活活撑死，只有那些少食者，最后才活了下来。
在九死一生的战场都侥幸活了下来，最终却死在饱食一顿粥水之后……加藤见此，根本不知还能说什么。
杨镐西撤时，其实驻扎彦阳的岛津丰久部正朝着蔚山进军，截断了蔚山通往彦阳的道路。杨镐不得不再次改变路线，沿中部山路向庆州撤。
在南岸的明军，最终还是伤亡惨重，吴惟忠部冒死强渡太和江，祖承训见北退艰难，收拢家丁朝南奋力突围，终究是杀出了重围，直至当天夜半，又趁倭军在全力救援而后方空虚的档，率敢死之士潜入西生浦，带队成功绕回了后方。
西江口的卢继忠在减员七百人之后，也成功突围撤回了后方。
倭寇二、三番队，在击溃明军后始才渡江，占据箭滩北岸高地，并由三番的毛利秀元部驻守，二番队却并未向西追击，而是朝东面的蔚山倭城进发，打算与一番汇合。后占据了已经空无一人鹤城山。
明军沿中部山路一路退至含月山脉白杨寺后峰附近，此处距蔚山倭城不超十里，倭寇追击部队还是很快追了上来，杨镐再传令李如梅和解生二人带队阻击。
李如梅斩追兵数级，后倭军不敌小退，又待骑兵回阵后远远吊着，不敢贸然上前。随行七八里路，时有持白旗的倭军抵近后军，麻贵标下的麻云、王高怒而旋马回斩，得首级二枚后方才回报。
倭军一路追击，见始终无机可乘，这才终止追击掉头回了蔚山。
摆脱倭军追击的明军于四日回到了庆州，杨镐率本部退驻安东。正月初五，柳成龙以‘天兵粮饷输到庆州者尚多，恐为贼所资’为由，将已运至庆州的明军粮饷分给了朝鲜军。
杨镐怒不可遏，岛山阵前粮饷不敷，将士们饿着肚子上阵杀敌，而后方粮饷却多被朝军瓜分。由此可见柳成龙所谓什么‘竭心尽力’之语全是狗屁。
更甚者，柳、权二人还将临阵逃跑的朝鲜散兵收拢后，除驻守庆州的，其余各自退返，并未施以任何惩戒。
杨镐退驻安东之后，最后一次调遣兵力部署：李芳春、牛伯英、卢德功、卢继忠、李化龙驻守安东；叶邦荣分驻龙宫；吴惟忠分驻忠州；游击陈愚闻分驻水原；蓝芳威分驻稷山；李宁分驻公州；董正宜、柴登科、秦德贵分驻全州；摆塞分驻安城；其余则相继回师王京。
蔚山之战后，倭寇诸将在庆尚道的安骨浦又一次举行军事会议，一致决定撤守顺天、蔚山，并派遣使者渡海，给丰臣秀吉送信，说明撤军计划。
在顺天倭城的小西行长早就准备好了退路，除了他自己将大量物资装上船，随时准备逃走外，还有他的女婿宗义智，已经在南海岛将物资装运上船，同样准备随时走人。
加藤清正弃蔚山撤至西生浦，小西行长弃顺天，撤至熊川，再至泗川，中路的岛津义宏也命其晋州城的岛津家将三原重种、蓑轮治右卫门撤退到后方的泗川，后又转至固城，原先驻守梁山的，撤到了龟浦。
蔚山之战，看似倭寇赢了，事实上却被明军打崩了防线，不仅是战略意义的防线，还是心里上的防线。