建中四年六月，在为平定河朔四镇叛乱募集军费的名义下，卢杞、赵赞奏行税间架、征除陌钱二法。所谓“税间架”，就是每栋房屋，以两根横梁的宽度为准，称为一间，分上、中、下三等，每间房屋每年征收二千文、一千文、五百文。有些人家虽有多间房屋，但别无私产与赖以生活的经济来源，应缴的税款却动不动就要几百串钱。
法律规定隐瞒一间，责打六十棍，并给告密者赏钱五十串。这是一种十分苛重而又不公平的税，遭到人民的强烈反对。所谓“除陌钱”，即无凡公私给与、生意所得，每一串钱，交税五十文。如果实物交易，则折合时价按比例征收。隐瞒一百文的，责打六十棍，另罚二千钱。赏赐告密者钱十串，由犯人负担。唐代的市场交易，除买卖双方直接交易外，经常是通过牙商，即市场经纪人来实现。牙商持有官府发给的印纸，遇有买卖进行登记，由牙商负责核算交税。不通过牙商的店铺，则由店铺自备私簿，登记交易额，然后申报纳税。除陌钱的税率为百分之五，十分苛重。并且由于牙商专权，中饱私囊，公家收入不到其中的一半，而一般商民则大受其害，以至怨声载道。
卢杞在朝，总算风光了四年。在一般人看来，这四年他也过得挺不容易，不安稳。他陷害杨炎、颜真卿、张镒等人，以阴险手段排斥名臣杜佑、李揆出朝，并肆意横行，搜括民财，致使怨黩之声嚣然于天下。后因泾原兵变，京师失守，大臣上疏指斥卢杞之罪责，物议喧腾，归咎于杞，于是在建中四年（783）十二月，被贬为新州（今广东新兴）司马。这下子，他再也没折腾起来了。贞元元年（785），卢杞被贬作澧州（今湖南澧县）别驾。在赴澧州途中，病死于船里，未能北返河南老家，于是葬在长江边上的嘉鱼王家湾。
