第四天，粤军大举反攻。
打前锋的许宗武师阻挡不住，先退了下来，白崇禧严令第四、第七两军稳住阵脚。
几经冲锋，伤亡惨重，第四军副师长李汉炯、第七军第八师师长梁重熙相继阵亡，被迫全线大撤退。
在撤退途中，他们又遭到粤军飞机的扫射，整个部队顿时一片混乱，溃不成军，狼狈不堪。
张发奎逃至祁阳熊飞岭时，高声叫喊：官兵有心者随来！这是张发奎从军以来最大的一次惨败。
由于军心动摇，部队亡的亡，逃的逃，张发奎想到第四军南下广东以来，经花县、北流、衡阳三次重大惨败，元气大损，不免有些心灰意冷，萌生散伙的念头，吩咐各团对溃散的官兵不必收容。
脾气暴躁的薛岳更是忍不住对部下大发牢骚：我和张军长都不想再干下去了，诸位请自便，或投靠他方，或把枪械卖了回家，或上山落草都可以，大家各奔前程吧。
营连军官们都没有答应，苦留张、薛二位指挥官，他们才安全撤到了广西。
7月5日，黄绍竑率领差点被敌军吃掉的部队也狼狈不堪地撤到全县，方得与李宗仁、白崇禧、张发奎相见。
大家在湘山寺晤叙一堂，恍如隔世，不禁感慨万千。
当晚，三军将领会餐。
薛岳想起这次溃败，看到黄绍竑就来气，又不好当面指责，打算乘酒酣耳热时发难，指控黄绍竑未能依照计划率后卫部队如期占领衡阳，给粤军钻了一个空子，是此次失败的主因，应对湖南战败负责。
黄绍竑到时，发现座中各人表情有异，于是一开始就拿着酒瓶猛饮狂喝，边喝边闹，根本不让薛岳有说话的机会，未到中席，他就喝得酩酊大醉，吵得天翻地覆。
李宗仁心中有数，急令身边侍从副官把他扶出，一场危机，终于避免。
酒席散后，张发奎对李宗仁说：德公，我们四军现在仅有两个营的兵力，真的是溃不成军了，不如请求你把四军的番号撤掉，散伙拉倒。
李宗仁劝道：我们桂军也损失十分之七八，但散伙之事还是免谈吧。
这是真的。
我已与薛岳等众将领商量了，把历年存积的几十万元公积金拿出来分给跟来的官兵，以后各走各的路。
张发奎一脸认真而无奈的表情。
李宗仁见第四军以一万余人的雄劲之师，削减为千余人的残部，也深表同情。
他说：向华，这样吧，我决定将本军两个师番号撤销，将这两个师的装备，和少校级以下约6000人，全部划给你，以恢复第四军的战斗力，怎么样？张发奎见李宗仁、白崇禧真心帮助自己重振四军，便打消了散伙的初意，反过来劝薛岳和自己继续干下去。
薛岳倒也爽快，说：向华，你说干就干吧，我跟着你。
7月14日，部队开始整编。
薛岳帮着张发奎，将四军编成六个团，分为第十、第十二两个师，以薛岳、吴奇伟分任师长。