杨广又听说许多达官的子弟都在杨玄感那里，越加忧虑震怒。

兵部侍郎斛斯政平时和杨玄感交情很好，杨玄感谋反，斛斯政曾与他一起谋划，杨玄纵兄弟逃回内地是斛斯政暗地送他们回去的。

杨广要追究查办杨玄感的党羽，斛斯政内心极为恐惧不安，在六月二十六日这天，逃跑投奔了高丽。

因为杨玄感反叛之事，这高丽是不能再打了，就算杨广不顾都城洛阳等地的安慰，他也没多少粮食继续打下去了，杨玄感虽然离开了黎阳，但他还派了个亲信元务本继续镇守在那，使得杨广大军依旧不能得到新的补给。

二十八日，夜里二更时分，杨广秘密召集诸将，让他们率军撤退。所有的军资器械、攻城之具堆积如山，营垒、帐幕，都原地不动，遗弃而去。

隋军人人惊惶恐惧，军队部署已乱，各路兵马分离涣散。

高丽方面对这种情况很快就觉察到了，但是不敢出去，只是在城内击鼓呐喊。

到第二天中午时，高丽方面才渐渐地派兵出城，四处远近地侦察，但仍然怀疑隋军撤退是假的，眼看着隋军就要攻破辽东城了，怎会突然撤退？

高丽人怎么想也没想明白，只能归之于是隋朝人的鬼把戏。

又过了两天，高丽人才终于觉察到不太对劲，于是出动几千名士兵在隋军后面追踪，但仍然畏惧隋军人多，不敢逼近，两军常常相隔八、九十里。

快到辽水时，高丽人得知杨广的车驾已经渡过了辽水，才敢逼近隋军后部，当时隋军后部还有几万人，高丽军队就包抄袭击隋军，最后有上万名隋军老弱士兵被杀死。

再说那支以宇文述、杨师道为主将，以王仁恭为前军的大军，他们一如第一次征高丽事那样，直驱平壤。

作为前军的王仁恭到达新城的时候，高丽兵数万人背城结阵据战，王仁恭亲率两千劲骑，直突高丽军的中军，威猛无比，势不可挡，直接斩杀了高丽军的主将，大破这数万人的高丽军。

逃回新城的高丽残余部队继续固守新城，王仁恭四围攻之，再给他几日的时间，定能将这座鸭绿水边上的重要城池攻下。

此时的王仁恭豪情万丈，心中想到，只要攻下了新城，再攻高丽都城平壤也就指日可待了，到时他必能凭着战功，荣升卫府大将军，不用再看宇文述等人的脸色行事了。

但是就在这时，王仁恭接到了让他撤退的诏令，他火热的心头瞬间被浇了一盆刺骨的冷水……

各军于是将器械物资全部丢弃，疾奔而还，虽没有敌军追击，但许多士兵不愿归队，导致失散颇多，渡过了辽水的时候，这支大军已是十不存一。