1980年9月的一次大会上，陈永贵辞去副总理之职。彼时他已67岁，从穷困的幼年算起，他至少劳累了60年。辞职后，他坚决不住不符合当下身份的院子，经过挑挑选选，最后住进了木樨地的高级干部公寓。
陈永贵退下来后，有人说他本来就是个老农民，不该到这么高的位置，现在下台了，送他回大寨去就是了，完全没有把他留北京的必要。当时正值风云变化的大转折时期，所有的一切都被重新审视，是非对错不再只有一个标准。
陈永贵曾带领大寨人战天斗地、被毛主席树立为“全国农民榜样”，如今有关他领导过的大寨、昔阳县和农业方面的问题层出不穷。陈永贵想不通，更不能理解，自己过去所做的一切，怎么都成处处漏风、一无是处的坏事了？
“实事求是啊实事求是，西水东调的本意是为民造福，怎么成了劳民伤财的大蠢事？昔阳没武斗、没停产、经济飞跃、生产暴涨，怎么还成了那十年的动乱重灾区？” 陈永贵唉声叹气，整天愁眉苦脸的，饭饭吃不下、觉觉睡不着。
更让陈永贵感到难过对不起的是，他过去提拔重用的人，要么被排挤，要么被撤职。他觉得那些人都是被自己牵连的。而且，有人说他领导下的大寨和昔阳，没给国家做什么贡献，反倒是欠了不少债。
陈永贵郁闷至极，找到主管经济的老朋友李先念倾诉。于是，李先念就跟有关部门打招呼，那些内参的文件就别往陈永贵处送了，他看了身体不好。这样一来，陈永贵就看不清国内动态了，但不清楚也好，知道了也不能改变什么，只能生气。
内参的东西见不着、心不烦了，可是报纸上又有很多他难以接受的内容。陈永贵失势后，李先念对他十分照顾，帮他挡住了很多的追责。他曾心有余悸地说：“要不是有李先念同志帮我说话，我可能都见不到你们了。”
最严重的时候，揭发举报他的材料如雪花般从各地飞来，加起来有一尺多厚，其中不乏出自他曾信任和重用的人。后面有人甚至还说，要追究他跟四人帮的关系。对此，陈永贵无奈地感慨道：“哎，老虎吃人可以躲闪，人吃人可没地躲闪哩。”
刚开始，陈永贵只是烦躁，随着追究他跟四人帮关系的呼声越来越高，他变得有些害怕和愤怒。他不知道怎么有人把他跟四人帮扯上关系，要是分派别的话，他也是死忠毛主席的那派。要知道，他可是当众怼过张春桥，让张春桥下不了台过。
陈永贵找到邓公，问他是不是也这样认为的。邓公说，老陈，你不是四人帮的人，这点中央是清楚的，大寨是大寨的问题，学是学的问题，大寨给国家卖粮做了巨大贡献是事实。之后，他还发话，没必要针对陈永贵。
陈永贵离职后曾向组织提出过做点具体工作的要求，不少高层表示支持，为此还征求他能否在中央当个顾问的意见，陈永贵不愿意，他想脚踏实地一点，做点见效快的工作，于是他被安排到一农场做顾问。
陈永贵临终前，曾流着泪对来看望他的人说：“再也没有像毛主席这样，把农民捧到这么高地位的领袖了。我没有给毛主席丢脸。”