资产阶级自由化的人，于1986年底，在中国大地上，煽起了一股自由化思潮，许多大中城市的青年学生纷纷走上街头。举行示威游行活动，提出了违反四项基本原则的口号和要求。学潮闹起来之后，胡耀邦同志只强调疏导，而未能旗帜鲜明地采取有效措施来制止这场学潮，致使事态愈演愈烈，形势日益严峻。党的十一届三中全会以来所开创的安定团结的局面已受到影响，如果任其发展下去，势必危及业已进行的改革的四化建设，势必危及党的领导和社会主义制度的巩固。这时，在党内，越来越多的同志对胡耀邦总书记表示不满。最后是邓小平同志和党中央采取有效的措施平息了这场学潮，这不能不令人感到痛心。
1987年1月16日， 中共中央在北京举行政治局扩大会议。在这次会议上，许多领导同志都对胡耀邦提出了批评意见，这次会议的公报这样写道：“胡耀邦同志在会议上检讨了他担任党中央总书记期间，违反党的集体领导原则，在重大的政治原则问题上的失误，并请求中央批准他辞去党中央总书记职务。会议对胡耀邦同志进行了严肃的同志式的批评，同时也如实地肯定了他工作中的成绩。”这次政治局扩大会议作出的决定是：一致同意接受胡耀邦同志辞去党中央总书记的职务的请求，继续保留胡耀邦同志中央政治局委员，中央政治局常委的职务，就这样，在胡耀邦政治生命中出现了一个重大的转折。从此，他离开了中国政治生活的核心位置。在这个位置上，他为着中华民族的觉醒和振兴，为着社会主义祖国繁荣和富强奋斗了7个年头。
胡耀邦辞去总书记职务以后，很长一段时间里闭门谢客，极少在公共场合露面。1987年底，在中共十三大上，他再次被代表们选举为中央委员和中央政治局委员，成了唯一的一个不负责具体工作的政治局委员。十三大以后，胡耀邦动身去外地休养。先去山东，在烟臺小住几个月。然后又去湖南故乡和广西。所到之处，都是深居简出，除了经常约请一些老战友、老同志谈心，回忆往事，閒暇时打打桥牌，游览名胜，却很少在公共场合露面，所以，了解他的行踪的人不太多。他在湖南期间，正赶上湖南在宁乡纪念刘少奇诞辰90周年活动，中央的一些主要领导人都赶赴长沙参加这次纪念活动。胡耀邦却一个人单独去了花明楼，寄託对刘少奇的怀念和哀思。在去国家森林公园——湖南张家界游览时，他婉言谢绝了当地领导人的迎送，以普通公民的身份和少数几个人游玩，静静地享受大自然天凿神功的美景乐趣，陶冶一个伟大的政治家、革命家的情操。1989年初，社会上曾一度谣传胡耀邦投奔了苏联。一时间人们议论纷纷。 为此，胡耀邦在一些公开场合露面，以澄清事实，在3月份召开的七届人大二次会议上胡耀邦和一些中央领导同志谈笑风声，显得十分活跃。