在此前，萧嗣业运输军粮，多次被敌人抢走，士卒饥饿而死，裴行俭说：“可以用计战胜敌人。”于是，准备了三百乘假粮车，每乘车里埋伏五名骁勇的士卒，带着斩马的长刀、强劲的弓弩，用瘦弱的士卒拉车前进，还派精兵秘密地紧跟在后边。敌人果然来抢粮车，拉车的瘦弱士卒假装逃脱险境，敌人用马把车迅速拉到有水草的地方，解下马鞍，让马吃草，正要从车里拿粮食，骁勇的士卒猝然冲出，后边的伏兵恰好赶到，差不多将突厥军杀死或俘虏光了。从此没有哪股突厥军敢于走近粮车。
唐军暂时驻扎在单于的北边，傍晚，已经扎好了营帐，战壕已全部挖好，裴行俭改变命令迁移到高冈上扎营，军官们说：“将士们已经安顿下来了，不能扰乱他们。”裴行俭不听这些，催促迁移。到了夜晚，狂风暴雨突然来了，原来扎营的地方，积水一丈多深，将士们没有谁不惊叹，询问怎么知道会有风雨的，裴行俭说“：从今以后只按我的指挥办事就行了，别问我怎么知道的。”
突厥军在黑山抵御，频遭失败，裴行俭让将士们尽情厮杀，前后杀敌无法统计，阿史那泥熟匐被他的部下杀死，部下提着他的首级前来投降，又活捉了阿史那奉职后班师回朝，突厥的残余部队逃往狼山。裴行俭回朝以后，阿史那伏念自称可汗，又同阿史德温傅会合。
裴行俭重新统率各路军队，驻扎在代州的陉口，派遣间谍展开离间活动，劝说阿史那伏念，使他跟阿史德温傅互相猜疑。阿史那伏念害怕了，秘密送来降书，并请求让他亲自捆来阿史德温傅表示诚意。裴行俭保守秘密没有公开，而呈递密封奏表报告了朝廷。几天之后，尘土冲天向南滚来，哨兵们惊恐，裴行俭说：“这是阿史那伏念押送阿史德温傅来投降，没有别的情况。不过接受投降如同接受挑战。”于是命令严加防备，派一名使者前去慰问，事情果然是这样，到这时，突厥残部全被消灭，高宗十分高兴，派户部尚书崔知悌慰劳部队。
裴行俭曾向阿史那伏念许诺不杀他们，侍中裴炎妒忌他的功劳，向高宗陈述意见：“阿史那伏念被程务挺、张虔勖威胁追赶，又遭碛北回纥的逼迫，没有办法才投降的。”结果导致阿史那伏念及阿史德温傅被处死，裴行俭的功劳也不予记载，只被封为闻喜县公。裴行俭叹息说：“西晋的王浑忌妒王浚平定吴国功劳的事，从古至今人们认为可耻，只怕杀掉降将以后就没有再愿归顺的人了！”于是借口生病，不再露面。
十姓突厥的车薄叛乱，裴行俭又任金牙道行军大总管，准备领兵出征，但还未出师，裴行俭便于长安延寿里的家中逝世，享年六十四岁，高宗追赠他为幽州都督，谥号“献”，又令皇太子挑选一位六品京官管理他的家事，直到子孙能够自立才止，葬于闻喜县的东良原。
唐中宗李显登位，又追赠裴行俭为扬州大都督；唐玄宗李隆基登基后，加赠太尉；礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，当中就包括“礼部尚书闻喜公裴行俭”。
裴行俭精通阴阳历法，善于鉴别人才，所提拔的名将有程务挺、王方翼、李多祚、黑齿常之等。工于书法，尤擅草、隶，有文集二十卷，并着有《草字杂体》《选谱》及兵法秘诀四十六条，今已亡佚。
喜欢史事讲将2隋唐五代请大家收藏：(m.suyingwang.net)史事讲将2隋唐五代三月天更新速度全网最快。