党残余的人又说他“没骨气”，不帮李德裕说话。杜牧夹在中间，有嘴说不清，之前提的削藩策略也没人再提了，刚打下来的优势又没了，藩镇又开始作乱。
那天，杜牧在兵部的档案房里，看着起草的奏折，还有那些打胜仗的捷报，心里像被堵了一块石头——他明明献上了好计策，明明看到了希望，可就因为党争，一切又回到了原点。他突然觉得特别无力：“晚唐的官场，怎么就容不下想干实事的人呢？”
从那以后，杜牧就很少再提“削平藩镇”的理想了——不是他不想，是他知道，在党争不断的晚唐，就算有再好的计策，也实现不了。
晚年中书舍人：官当大了，心却冷了
杜牧的晚年，算是“苦尽甘来”——他后来又被调回长安，还当上了中书舍人，这官不小，是皇帝身边的近臣，负责起草诏令，相当于“高级秘书”，多少人一辈子都熬不到这个位置。
谁能想到，当了中书舍人的杜牧，反而没了年轻时的劲头。每天在宫里起草诏令，看着皇帝被宦官和党争左右，看着朝廷对藩镇的问题视而不见，他心里早就没了当初的热情，只剩下失望。
有次，皇帝让他起草一份关于“安抚藩镇”的诏令，其实就是对藩镇妥协，杜牧拿着笔，半天没写出一个字——他想起年轻时写的《战论》，想起在黄州池州为百姓做事的日子，再看看现在这份“妥协”的诏令，心里一阵发凉：“这不是我想干的事，也不是爷爷教我的为官之道。”
那时候，杜牧在长安城南有个樊川别墅，是他之前买的，一直没怎么整修。晚年的他，一有空就去樊川别墅，把院子里的杂草拔了，种上菊花和竹子，还盖了个小书房，把家里的万卷书搬了一部分过去。
每天下班，他就换上便服，去樊川别墅待着——要么在书房里读《通典》，想起爷爷杜佑；要么在院子里喝茶，看着菊花发呆；要么约上几个老朋友，比如李商隐，来家里喝酒写诗，聊的都是以前的事，很少提朝堂上的事。
他还写了首《秋夕》：“银烛秋光冷画屏，轻罗小扇扑流萤。天阶夜色凉如水，坐看牵牛织女星。”这首诗看起来写的是宫女的孤独，其实是他自己的心境——在朝堂上，他就像那个宫女一样，孤独又失望，只能对着夜色发呆。
有人问他：“你现在当了中书舍人，官这么大，怎么不替朝廷多做点事？”杜牧笑了笑，没说话——他不是不想，是不能，也不想了。晚唐的官场就像一潭烂泥，他再怎么挣扎，也只会越陷越深，不如守着樊川别墅，守着书和朋友，过点清净日子。
公元852年，杜牧病逝于樊川别墅，享年49岁。临终前，他让家人把写的关于削藩的奏折、在地方任职的记录，还有没写完的诗稿整理好，放在书房里，跟爷爷的《通典》放在一起。他说：“我这辈子，没实现‘削平藩镇’的理想，但我没辜负百姓，也没辜负爷爷的教导，够了。”