杨炎又派自己的党羽李舟去劝说梁崇义，梁崇义顽固不听，最后终于反叛，议论的人都归罪于杨炎，认为是他促成梁崇义反叛的。

梁崇义反叛后，德宗任命淮西节度使李希烈统领各军讨伐梁崇义，杨炎劝谏说：“李希烈是董秦（李忠臣）的养子，很得董秦的信任，最后还是驱逐了董秦并夺取他的位置。李希烈就是只白眼狼，没有立功的时候尚且桀骜不驯，假使他平定了梁崇义，朝廷拿什么来控制他？”杨炎坚持己见，争议再三，但德宗不听。在此之前，梁崇义的叛乱已经引发不少对杨炎的非议，加上此时杨炎劝德宗不用李希烈，德宗对他更加不满。此后，李希烈因天气原因而推迟进军，卢杞却说李希烈是因为杨炎作梗而不肯进军，请求暂时撤去杨炎的宰相实权，杨炎由中书侍郎、同中书门下平章事之职被改任为左仆射，被剥夺了实权。

德宗又曾询问宰相，大臣之中谁可担当大任，卢杞推荐张镒、严郢，而杨炎推荐崔昭、赵惠伯，德宗认为杨炎议论疏阔，于是罢免杨炎宰相之职，为左仆射。过了几天，杨炎入朝谢恩，在延英殿问对后，急弛而归，没有到中书省与卢杞见面，卢杞对杨炎更加怒恨。不久，卢杞引荐严郢为御史大夫，以前严郢担任京兆尹时，不依附杨炎，杨炎对他很不满，就指使御史张着弹劾严郢，罢免严郢京兆尹之职为御史中丞。杨炎又提拔了与严郢有矛盾的源休为京兆尹，严郢后来又因犯有度田不实之罪，改任为大理卿，当时人们感到惋惜。此时，卢杞则迎合众人的要求，又利用严郢与杨炎有积怨，故意引荐他为御史大夫，杨炎的儿子杨弘业很不成才，常违法犯禁，又接受别人的贿赂和请托，后严郢审理此案，便不遗余力，并查出了杨炎的其他罪行。

先前杨炎为修建家庙，就请河南尹赵惠伯为他出卖东都的私宅，赵惠伯就把此宅买来作为官署，严郢审理后，认为赵惠伯是高估了杨炎私宅的价格，使杨炎多得到不少利益。卢杞召请大理正田晋处理此案。田晋认为：获取余利，以索取论罪，应该剥夺他的官职。卢杞对这样判处很不满意，就将田晋贬为衡州司马，而召请其他官吏重新议罪，后判为监守自盗，要处以罪刑。此外，又有流言蜚语说：杨炎在曲江南修建的家庙，而这个地方是有王气的，杨炎故意取此地建家庙，一定是别有用心的，德宗听说后更加愤怒，等到审讯结果呈上后，德宗又下诏三司，要求再加以复查。

唐德宗下诏宣布：尚书左仆射杨炎凭借他文学才艺多次位居要职，但结党营私、败坏法度，为顾全大局，特加宽宥，贬为崖州司马。诏书下达后，杨炎踏上了流放的路途，途经鬼门关，他似乎已预感到前景不妙，写诗感叹：“一去一万里，千知千不还。崖州何处是，生度鬼门关。”在杨炎走到离崖州百里的地方时，押送他的宦官秉承德宗旨意，将杨炎勒死，杨炎终年五十五岁。

杨炎死后很久，朝廷下诏追复其左仆射之职，最初拟谥为肃愍，时任左丞的孔戣请求重议，经太常博士崔韶建议，最终追谥平厉。

杨炎在唐德宗年间参与财税改革、尤其是创立了两税法，对中唐政局起到积极作用，对后世也影响深远。然而他睚眦必报，又党附元载、陷害刘晏，故亦招致争议。

史事讲将2隋唐五代三月天