自此之后 ， 朝堂上再也没人敢轻易得罪李义府 ， 他也越发骄横 ， 就连他的儿子、女婿也经常做一些坏事 ， 搞得唐高宗对他也越来越不满 。
最终让李义府倒台的还是一件小事 ， 他大概是坏事做的太多 ， 经常会出一些噩梦 ， 便觉得是不是家中风水有问题 。
正好在这时 ， 一个叫杜元纪的术士找上了门 ， 他告诉李义府：“我在外面望见你家上空有怨气笼罩 ， 只怕是将要有牢狱之灾 。”
李义府最近本来就感觉心神不宁 ， 再一看杜元纪一副得道高人的打扮 ， 立刻就相信了他说的话 ， 连忙请教他应该如何化解灾难 。杜元纪既然是得道高人 ， 自然是有办法的 ， 这个办法就是在房子里堆两千万钱 ， 就可以压住怨气 。
这个办法一听就非常不靠谱 ， 哪有用钱来压怨气的 ， 但李义府却对杜元纪深信不疑 ， 以为靠两千万钱就可以化解灾难 。
然而问题是李义府手里也没有这么多钱 ， 无奈之下他就只好和儿子、女婿一次大肆卖官 ， 通过卖朝廷的官职为自己赚钱 。
如果只是卖给一般的人也就罢了 ， 但大概是想赚钱想疯了 ， 李义府的儿子李津竟然把官卖给了长孙无忌的孙子长孙延 。要知道长孙无忌那时候可是全家获罪 ， 李津竟然卖官给他的后人 ， 实在是自己往刀口上撞了 。
偏偏在这时 ， 李义府还整天带着杜高人偷偷溜出长安 ， 跑到城外的古墓顶上去看自家的怨气化解没有 。
这件事很快被人捅到了唐高宗那里 ， 说是李义府经常出城去窥测灾异 ， 想要图谋不轨 。这几件事加在一起 ， 终于让李义府倒了 ， 他很快就被免除官职 ， 流放到巂州 ， 其余儿子、女婿也各自被贬 。
大概是李义府平日里得罪人太多了 ， 他倒台以后还有人写了一篇《河间道行军元帅刘祥道破铜山大贼李义府露布》进行嘲笑 。
刘祥道就是李义府一案的主审官 ， 所谓河间道则是指李义府的爵位“河间郡公” ， 能被人写这种布告嘲笑 ， 也算得上是唐朝历史上独一份了 。
李义府自己却还是不死心 ， 希望唐高宗和武则天某一天能赦免自己回去 。到唐高宗封禅泰山时 ， 大赦天下 ， 李义府满心以为自己能回长安 ， 结果却让他失望了 ， 赦免名单上并没有他 。
【他以笑里藏刀在朝堂屹立不动 笑里藏刀指的是什么意思】不久后 ， 李义府就在忧愤之中病倒了 ， 不久后就病死在了巂州 。李义府一死 ， 彷佛天下间都清明了不少 ， 原本还担心他某一天杀回长安的人们 ， 终于就此安心下来 。