长庆二年(822年)，李德裕改任中书舍人，仍充任翰林学士。李逢吉在元和年间便与李吉甫结怨，因此指使党羽摈斥李德裕，最终李德裕被免去翰林学士之职，改授御史中丞。六月，李逢吉拜相，欲引荐牛僧孺。当时，李德裕与牛僧孺都有拜相的希望，李逢吉担心李德裕会破坏此事，便于九月将其外放为浙西观察使。牛僧孺则被授为同平章事，拜为宰相。

　　李德裕到浙西任职时，正值王国清兵乱之后。前任观察使窦易直竭尽府库，供给军用，致使军士骄横，府库财用拮据。李德裕躬身俭约，尽量减少开支，把节余的财物全部供养军队，尽管所给不甚丰足，将士却并无抱怨。他革除陈规陋习，以儒家伦理道德教化百姓，并对不接受教育者绳之以法。几年之内便使得江南弊风尽除。李德裕还依据方志，整顿当地祠庙，保存供奉前代名臣贤后的祠庙，其余四郡淫祠一千一十所全部拆毁，同时又拆毁私邑山房一千四百六十处，以肃清盗贼。

　　长庆四年(824年)，唐敬宗继位。敬宗年少，奢侈无度，虽曾敕令各地不准贡献，但不久便派使者往各地征收贡品。七月，唐敬宗命浙西进贡脂朅妆具，共需用银二万三千两，金一百三十两。李德裕考虑到当时财政困难，向下面摊派又会加重百姓负担，因而上疏朝廷，讲述浙西现状，请朝廷罢造脂朅妆具。不久，朝廷又命浙西进献盘绦缭绫一千匹。李德裕再次上疏，以太宗命李大亮停献名鹰、玄宗禁止在江南捕鴶诸鸟的故事为鉴戒，极力劝谏敬宗要以太宗、玄宗为榜样，学习汉文帝简朴的风尚，请求停进缭绫。唐敬宗采纳。但当时李逢吉当政，李德裕始终不能回朝。