等顺军步兵开始攻山以后，他们就有些慌了，连装填火炮的速度都慢了起来。这个时候如果用虎蹲炮和弗朗机炮封锁山路，顺军想登山还是要付出较大伤亡的。

但是慌乱之间，明军都认为只有大号红夷大炮，才能给他们安全感，只顾着装填大炮，用红夷炮阻击顺军步兵，或者与顺军炮兵对射。

等顺军步卒冲到半山腰时，邓耀才组织起人，用火铳和弓箭开始抵挡。

不过广东武备松弛，他们的火铳秉承大明朝一贯粗制滥造的风格，刚打两发就有两支火铳炸膛，其余明军就不敢多装火药，打出去的弹丸，都被顺军的藤牌和盔甲挡住，没有对顺军士卒造成多少伤亡。

没过多久，顺军就冒着火铳和弓箭，冲上帽子峰。张鼐在后阵看到步卒已经冲上山顶，马上下令再派一个步队，往山上冲。

冲上去的顺军步卒，刚准备抽刀与明军搏杀，没想到山上的明军看到他们以后，立即丢下手中的武器，转身往山下跑去。

临阵退缩的明军越来越多，没过多久就裹挟着大军，演变成溃退。邓耀没想到三千兵丁，都不敢与冲上来的这一点顺军肉搏。本想让自己的亲兵弹压，没想到溃逃的人太多，亲兵们根本制止不了溃败，只能拥着邓耀，随大军一起逃下山去。

顺军一路尾随追击，没想到一直追到韶州城北门之下。

李明忠在北门城楼，见此情景立即暴跳如雷，三千兵丁还有地理优势，挡不住顺军的一个冲锋！

“快关城门！”李明忠看见溃兵身后还有顺军步卒掩杀，害怕他们随着溃兵一起冲进城来，也不管城外的明军，直接下令关门，把明军也一起关在了外面。

李明忠还想着溃败的明军被逼急了，背靠城池与顺军搏杀，自己还能利用城头的火炮，杀伤一些顺军。

没想到城门关闭以后，溃退的明军不敢转身与顺军对战，只能挤在北门下，大叫着希望李明忠开门放他们进去。