与此同时，辽国从各地调集的大批援兵，宫分军、奚军、南北院军主力已经陆续汇集幽州附近，韩德让拱卫着萧绰的御帐也到达了距离涿州五十里外下寨。完成集结的辽军迅速对宋军展开反击，并且聚集重兵攻下涿州东南方向的固安。

宋军东路军主力士卒连番奔波苦战，疲乏不堪，更为窘迫的是，面临被辽军骑兵自东向西切断退路的危险。在探明攻陷固安的乃是上京援兵，甚至萧太后也亲征督战后，面对辽国倾国之兵的压力，曹彬不得已，当夜冒雨再度退兵。

此番辽军追击的迅猛和强度远胜上回。在歧沟关宋军东路主力被辽军追上，曹彬都督全军和辽军决战。此时距离宋军出师伐辽已经近两个月，在涿州等待西路和中路军前来会师，太奢侈地给了辽人集结举国精锐迎战的时间，在岐沟关前，无论从兵力数量还是士气体力上，辽军都占据了绝对优势。在辽兵的猛攻之下，宋军会战失败，曹彬再度下令连夜撤退。

大雨滂沱之中，撤出岐沟关的宋军在强渡拒马河的时候又被辽人骑兵追上，这时尚有部分未来得及渡过河流的禁军倚靠着粮车拼命抵抗四面围杀过来的辽人精骑，禁军将士奋力和如潮水一般的辽兵搏杀，他们宁死不降。次日天明，拒马河上到处漂浮着战死宋军的尸体，血水染红了整条河流，直到猛将蔡继宣再次率领五千铁骑返身杀回，才击退了辽兵，使落在后面的宋军残兵得以度过拒马河。

宋军在易水以南下寨，与追上来的辽军对垒。官家再度下旨，令诸将分兵退保各边城关隘。辽人大军逼迫之下，宋军再次分兵撤退，曹彬率主力退往定州，米信和崔彦进所部掩护主力撤退，稍后便退往往高阳关，宋军一分兵，辽军立刻选择了较为弱小的米信进行追击，斩杀过万。此役，河北前线的禁军遭到了彻底的重创，前后死者高达数万，损失之高远远超过第一次北伐。

在岐沟关，辽军发现数万宋军民夫因为来不及逃亡而躲在原本是空城的歧沟关城内，民夫们不愿为辽兵俘虏，占据关城拼死抵抗。辽兵围城难下，又急于收服岐沟关，直到恰好太后萧绰的生日，这一天是萧绰下旨，令前线辽军将领和这数万宋国的民夫讲和，只要民夫们退出歧沟关城，承诺他们可以安返宋国境内。这数万宋国民夫凭着自己的勇气，居然奇迹般没有沦为奴隶，而是回到了家乡。战后他们各自返回家乡，姓名湮没无闻，但吴英雄闻讯后立即派军情司和承影营到这批民夫中间招揽军士，得了两千多人精壮，安排他们举家迁移到河西居住。

前线损兵折将的消息几乎要将枢密院完全淹没，枢密院上下官员胥吏忙得好似热锅上的蚂蚁，将战况上秉宫中，还要安排边境各州县收容溃兵，执行官家要诸将“分屯“边境关隘抵御辽军的最新指令，与此同时，还要应付来自文官系统铺天盖地的弹章。兵败的消息，使被排除在北伐决策之外的中书省积蓄许久的不满，一下爆发出来。

前任丞相赵普、现任丞相蔡昉都上表要求消兵饵战，官家赵炅却是有苦自知，他选择了如何发起战争，但大败之下，如何结束战争，却要看辽人的选择。

前线溃兵的编制近乎混乱，曹彬、田重进、蔡继隆诸将在军中威信扫地，很难保证在契丹人再度入寇时能做有效坚决的抗击。于是，赵炅权衡利弊，终于决定起用早已赋闲的宿将。岐沟关战后一月，曹彬入京待罪，左卫上将军张永德出镇沧州，右骁卫上将军刘延让出镇雄州，令其“击契丹以自效”。

“殿下，机会来了。”第一时间得知消息，王侁不动声色地在枢密院厮混了整天，回到府中，才匆匆潜往赵德昭府邸将这消息告诉他。

连年累月的与道士和尚交往的赵德昭一愣，片刻后才意识到王侁的意思，他颇为激动地站起身来，沉声道：“拨乱反正，全仗先生之力也！”兴奋之下，连脚下的木屐齿都折断了两个。

岐沟关大败后，辽军的攻势一直没有停止，六月，名将耶律斜轸奇兵长途奔袭，一举夺取距离雁门关要道较近的寰州，造成新收复的云、应、朔三州与雁门关之间的通道置于辽军威胁之下，七月，赵炅终于痛下决心，放弃刚刚夺取的云应朔寰四州，令潘美、杨业出雁门关，护送四州新附军民归于关内。然而，最坏的消息终于传来。

“杨业兵败被俘，降于辽人。”主帅潘美、监军刘文裕、侯莫吴利用三人联名请罪的奏折证实了这个消息，赵炅旋即下令将杨业的家眷全部下狱待罪，就连在北伐之战中负了箭伤的杨延昭也不例外，只待杨业降辽的消息确实，就满门抄斩。