有了朝廷正式任命，段思廉终于得以踢开樊子盖，独任剿匪战事。他一改樊子盖的清乡屠杀之策，公开处决了一批杀戮过重，民怨极大的官兵。并与刘弘毅等地方官员会商，事先制定了详细的招抚安置方案，布告全境：百姓被迫为盗，三十日内前来归顺者，尽赦其罪，田产享有如初，免本年徭役；擒得贼之头目来献者，论功行赏；犯杀人、抢掠、奸淫重罪者，自首可减刑二等；家属遭官兵无辜屠戮或房舍土地毁于兵火者，悉可上报本地官府，按成例予以赔偿抚恤；无家可归，无田可耕者，就于太原附近分拨闲置土地为产，贷给农具粮种，免租调一年。三十日外仍不来归顺，视为顽抗，复罪如初，决不宽贷。同时集中有限的兵力，针对流寇中的死硬分子进行重点清剿打击。
以抚为主，剿抚并用，团结多数打击少数的宽大政策很快收到了预期效果。流亡的百姓对樊子盖的清乡之举心有余悸，初见布告，疑惧不敢前来，唯有少数人壮着胆子前来投顺、自首。段思廉言而有信，果然赦罪放还，照价补偿其损失。对一些无地流民，安置于太原附近。对犯有重罪的自首之人也如约予以减刑。
被迫跟从敬盘陀、柴保昌等造反的百姓闻段思廉言而有信，纷纷来投，如同雪球般越滚越多，一个月下来，基本上都回到了家乡或由段思廉安置到太原附近，还有数十名剽悍勇猛之士感激段思廉的活命之恩，自请在帐下效命。段思廉为避免他们受歧视，全部留在身边担任卫士。百姓闻之，深感汤公待人不疑，更加心悦诚服。敬盘陀、柴保昌等如鱼失水，在官军有组织、有针对性的打击下，很快土崩瓦解。柴保昌投降，敬盘陀兵败自杀。段思廉分兵清剿余部，到六月中旬，绛郡之乱全部平定。驰报朝廷，史元爽下旨嘉奖，增邑二千户，命段思廉率得胜之师，会合云中郡守卫孝节、上党郡守李思行，合兵讨伐为患河东的甄翟儿。
由河北窜犯河东的历山飞魏刀儿部义军，是个令人头疼的主。
魏刀儿，生年籍贯不详，大业十一年与上谷（今河北易县）人王须拔同时起义，到年底部众已发展到十余万人，自称历山飞。大业十二年四月，魏刀儿遣部将甄翟儿率军十万（实际骨干两万左右，其余均为沿途裹挟之众），经井陉窜入河东，分兵侵扰上党、西河，主力则直扑河东军政中心太原，企图一举占领这一府库。义军虽是由平民组成，但毕竟人多势众，首领王须拔、魏刀儿、甄翟儿等劫掠多年，巧于攻城，勇于力战。史称其“南侵上党，以破将军慕容罗喉之兵；北寇太原，又斩将军潘长文首。凭胜两将，所向无前。”
义军进攻太原时，段思廉正全力指挥绛郡平乱之事，无暇北顾，段婉曦、段宗扬、侯世昌结束休假，率骁骑营北上巡哨，城中只有王威、高君雅率部七八千镇守，难以抵挡。段思廉派飞骑行文云中郡守卫孝节，请他南下太原主持大局。卫孝节当即赶赴太原，但也晚了一步，左骁卫将军潘长文和上党驻军将领慕容罗喉贸然率部出战，皆为所败，潘长文战死，太原一度危殆。幸得卫孝节及时率精兵千人入城增援，部署防御，这才令甄翟儿部急切难以攻下太原，转而袭扰其他郡县。
卫孝节为人谨慎持重，知道这十万贼兵与绛郡的叛军一样，多数是走投无路被迫落草的百姓，不能一味使用武力镇压。他明白自己的任务是稳住局面，待段思廉抽出空来，再合计胜之。六月下旬，段思廉平定绛郡之乱，回师太原，与卫孝节共同计议，决定仍采取剿抚并用，分化瓦解之策，命各郡县加固壁垒，组织乡兵加以训练，对义军采取守势，除在其入侵乡村时进行自卫，将其击退外，暂不采取大规模军事行动。同时以在绛郡行之有效的各种宽大政策，招抚迫于生计加入义军的流民和耕农。百姓们见有了活路，纷纷逃亡叛降，回归乡里。到十月底，甄翟儿的十余万大军除河北带来的两万旧部外，全部瓦解。甄翟儿被迫率部退入雀鼠谷，分兵占领两侧十几个山头，守株待兔，劫掠过往客商官饷，以维持生计。
尽管分化瓦解之策取得重大成效，段思廉依然面临着敌众我寡的严峻形势。由于山东、河北、江淮义军日趋壮大，官军损失惨重，朝廷不得不从河东先后抽调精兵二万余人前往增援，又要分兵北方边郡马邑、雁门、云中防御突厥南下，段思廉手上不过五千余人，除骁骑营外均为步兵，同义军相比仍处于劣势。而义军转入山区，凭险据守，难以清剿。好在各地已做好防备，小股袭扰不足为患，而新附流民安置未久，入冬衣食短缺，民生问题实为首要。于是采纳卫孝节的建议，下令诸军转入休整，秣马厉兵；各郡县则全力以赴，保障冬麦播种，调拨粮食、布帛、棉被、木炭等物，接济衣食不足的新户。到十一月中下旬，越冬物资基本落实到位，民心笃定，军队兵精粮足，已无后顾之忧。
这两个月里，段思廉又利用物资南运的机会对义军进行试探和引诱。他深知贼众劫掠出身，经验丰富，十分狡猾，轻易不会出窝挨打。段婉曦便建议顺详敌意，利用义军对衣食的迫切需求，故意让他们抢上几次，以骄其心，以懈其备。甄翟儿初时担心有诈，只派小股人马试探性地抢了几票小的，见官军追之不及，于是胆子越来越大，从小几车到十几数十车，最后连上百车的大队都敢集中人马来抢。段思廉见大鱼上钩，时机已到，便于腊月上旬，留高君雅镇守太原，自己与王威、卫孝节亲率五千人马，护送粮食万石，棉衣五千领运往河东郡。
甄翟儿尝到了甜头，一发放肆起来，欺负官军人少，集合全部两万兵力，在雀鼠谷设伏，准备截断两头，聚歼官军。段思廉却早已摸清他们的套路，将辎重、兵马均分为十批，辎重在前，兵马在后，相互间杂，首尾呼应，前后拉开上百里距离（雀鼠谷狭窄险要路段为七十余里）。无论义军从哪里下手，都无法同时堵截，一旦攻击势必陷入官军的夹击之中。甄翟儿无处下手，只得眼睁睁地看着官军前队出了谷口，抵达介休。他知道开弓没有回头箭，只得横下一条心，和官军明着开干，便下令各部齐集介休西南的汾水东岸，当道拦截。段思廉在介休会齐所有人马辎重，聚众迎敌。一场空前的大战，就此拉开。
甄翟儿到底是个同官军打过交道的悍匪，打起仗来颇有些章法。他将河北带来的旧部并雀鼠谷所吞并的各山寨盗寇共二万一千余人，沿着汾水布成长十余里，厚数十丈的大阵，一则充分发挥人多的优势，二则迫使全军背水一战。段婉曦先率轻骑在阵前哨探了一遭，回报父亲，又附耳低言如此如此。段思廉点头称是，便下令全军布为两阵三部，高君雅、侯世昌率一千羸弱之兵为小阵，正对敌阵中央最精悍善战的七八千人马，多张旗帜，大造声势向前推进；自己与王威率主力约三千人马，护送全部辎重继后，为大阵；段婉曦、段宗扬各率骁骑五百为小阵，居于主阵之后，待命出击。
“孩儿们，杀死官军，劫了钱粮，吃穿不愁！”甄翟儿大喝一声，抡刀跃马，率中军首先杀出。各部义军受此鼓舞，挥舞兵器，争先恐后，向官军发动了排山倒海般的进攻。高君雅、侯世昌率部迎战，互有伤亡。段思廉中军鸣锣，高君雅、侯世昌招呼众军，佯装兵少不敌四散溃逃。甄翟儿奋勇追杀，段思廉、卫孝节率中军迎上，略战片刻也假装不敌败走，弃下金鼓、旗幡和辎重车辆，散落了一地。义军看到满地的粮食钱帛，便如同馋猫见了鱼儿一般，纷纷停下脚步，不去追赶官军，转而去争抢车上的粮食、棉衣。甄翟儿见状，大感不妙，大声喊道：“休只顾着哄抢，先杀官兵要紧！”义军都是见钱眼开的乌合之众，哪里管得这许多？甄翟儿举刀纵马往来呼喝，却是摁下葫芦翘起瓢，只有三千来骨干勉强听从，其他人只顾抢东西，完全不成体统。
正在无可奈何之际，猛听得官军方向号角齐鸣，杀声震天，段婉曦、段宗扬率一千骑兵分左右两翼由阵后杀出，劈波斩浪般冲开义军队伍。段婉曦一马当先，冲锋中连射七十二箭，箭无虚发，骁骑营将士发箭相应，贼众大骇，望风披靡。两路骑兵很快撕裂长阵，直透其背，而后在汾水边上会师，回头兜击甄翟儿中军。段思廉中军大纛高举，指挥大队步兵列队反扑，前后夹击。义军本就未经战阵训练，勉强摆好的队伍阵形又乱成一团，乍逢剧变，都慌了手脚，各自为战，很快被官军各个击破。甄翟儿的中军遭到段婉曦、段宗扬、侯世昌轮番打击，死伤大半。战斗力更弱的其余各部斗志全无，纷纷作鸟兽散，再也无法聚集起来负隅顽抗。甄翟儿见势不妙，只得率领身边的数百骑兵，趁乱脱离战场，夺路向东逃窜。
段思廉传下将令，降者一概免死。义军经此重大打击，彻底瓦解，加上对段思廉的宽大政策有所耳闻，自然纷纷拜降。段思廉命王威依前例妥为安置，众人无不悦服。至此，困扰河东九个月之久的历山飞之乱划上了一个句号。