杨谅原定作战计划是：晋阳军攻下蒲坂城后，则由纥单贵部占据蒲津渡口。
裴文安部担任先锋，绕开大荔城，直接向关中进军；
萧摩诃率中军大部队随后跟进；
杨谅随赵子开的后军，押着粮草殿后。
……
纥单贵清剿了蒲津渡口的朝廷军残余，占据了渡口两岸。
裴文安率大军正准备西渡黄河时，忽然接到杨谅命令：
裴文安部人马撤回蒲坂城；纥单贵部烧毁黄河上面浮桥，退到河东扎营，据守黄河沿线。
杨谅同时发布了另外一道命令：任命王聃为浦州刺史，驻守蒲坂城。
裴文安、纥单贵接到命令，杨谅的做法很不理解。
二人还是按军令行事，一边向黄河东岸撤退，一边烧毁浮桥。
裴文安率部在蒲坂城外扎营后，自己进城去找到杨谅，质问老板：为什么改变原定计划。
杨谅解释：各地探子传回情报，杨广已经在大荔城～潼关～灞上沿途部署了大军，又征调弘农、洛阳方向的军队，向西集结。朝廷军的意图很明显是包围咱们。咱们既然看见了口袋，就不能还往里头钻。
裴文安问：“主公，既然朝廷做好了防备，那是不是说咱们大势去矣？”
杨谅听后，很久没有出声。最后道：“裴将军，咱们先退守河东、山西、河北，再图谋后路。”
裴文安默默点头，行礼后回到军营。
……
晋阳军拿下蒲坂、控制了蒲津渡，然后又立即烧毁浮桥、退回河东。
这样的操作，对军队士气影响很大。
杨谅布置好河东防御阵线后，自己率部回到了晋阳。
晋阳将士们都明白：晋阳军再无可能打到长安城。
……
晋阳大军回撤了，杨广、杨素松了一口气的同时，便立即调兵遣将，对晋阳展开军事围剿。
这次，杨素亲自领军征讨杨谅。
他率3万步骑军抵达大荔城东的黄河边，开始收集商船、渡船、渔船，作大军渡河准备。
604年9月11日，杨素大军渡河。
纥单贵率军阻击。
两军厮杀了一天一夜。
最后，晋阳军战败，纥单贵率几十骑逃走。
杨素攻打蒲坂城。
杨谅任命的浦州刺史王聃下令开城门投降。
杨广听说杨素拿下了蒲坂城，非常高兴。
他又调拨4万军队给杨素，并任命杨素为并州道行军总管、河北道安抚大使，命令杨素全面征讨山西、河北。
杨素率7万大军，沿着汾河河谷杀向晋阳。行军路线与北周覆灭北齐时一样。
杨谅命赵子开领10万人马，南下迎战杨素的朝廷军。
两军在高壁岭一带（山西灵石县）展开决战。
最后，赵子开惨败。
晋阳军死伤3万多，被俘2万，其余人马四散逃走。
赵子开带几百骑逃回晋阳。杨谅下令将赵子开斩首。
杨谅再次调集10万军队，亲自统帅，让萧摩诃领先锋军，在蒿泽（山西介休县）、清源（汾阳县）一带迎战杨素。
杨谅的全部军队家底都在这儿了。这一战关乎杨谅生死。
结果，杨谅军队不敌杨素的队伍。
晋阳先锋军被全歼，大将萧摩诃被俘。
杨谅只得率部退回晋阳城死守。
杨素本来只有7万人马，收编了几万俘虏后，这时已超过10万。
杨素率大军包围晋阳，开展坚壁清野，打算持久围城。
杨谅的为人，并非穷凶极恶之徒。
他感觉守着晋阳与朝廷军消耗，苦的是士兵与百姓，没有意义。
于是，杨素围城10天后，杨谅下令开城门投降。
杨素将杨谅押送到长安。
朝中大臣中，有许多人上奏，请求处死杨谅。
杨广没有采纳他们的意见。他下诏削去杨谅爵位、贬其为庶民。
让五弟杨谅与四弟杨秀一样，幽禁居住。