胡乔木在美国避见记者，除了考虑安全问题——不愿行踪见报，也由于考虑到海外对他颇有微词。
海外的评论属“参考消息”，主要是认为胡乔木“左”。
平心而论，胡乔木自庐山会议起，曾对“左”有所批判。也正因为这样，他在“文革”中才会遭到那些“左”派们的批判。也正因为这样，他在1975年复出，与邓小平一起大力整顿、纠“左”。此后，他起草中共十一届三中全会公报，起草《关于建国以来党的若干历史问题的决议》，对于彻底否定“文革”、批判“两个凡是”，起了很大的作用。从这个意义上讲，他并非“左”派，他下了大力克服毛泽东晚年严重的“左”的迷误。
然而，他毕竟长期在毛泽东身边工作，毛泽东自1957年以来日益严重的“左”的思想也曾深刻地影响了他。即便在毛泽东去世之后，“左”的影子也不时困扰着他。
另外，如胡耀邦1985年5月10日跟香港《百姓》杂志社社长陆铿谈及胡乔木时，这么说及：“人谁也不是完美无缺的。如果胡乔木同志算他缺点的话，那就是由于长期工作在毛主席的身边，到基层的时间少了些，在经济问题的研究方面还不太充分。我自己也不行！”
胡乔木自己也有所感。1982年2月，他在一首诗中写道：
1992年8月，在他离世前不久，他在病榻上写了一生中最后一首诗《赠谷羽》。在这首诗中，他向妻子道出了晚年的心声：
白头翁念白头婆，一日不见如三秋。
五十馀年共风雨，小别数日费消磨。
此生回顾半虚度，未得如君多建树。
两弹一星心血沥，正负对撞声名着。
晚年遭遇颇离奇，浮云岂损日月辉。
自古功成身合退，沙鸥比翼两忘机。
伏枥亦作并驾图，缠身衰病心有馀。
抚躬一事堪自慰，唱随偕老相护扶。
人言五十是金婚，黄金纵贵难比伦。
夕阳更胜朝阳好，傍君不觉已黄昏。
胡乔木诗中的“晚年遭遇颇离奇”，可以从前中共中央组织部副部长、原中顾委委员李锐的《耀邦去世前的谈话》一文中得到铨释。李锐在文章中回忆中共十三大选举的情景：
1987年的中共十三大选举，大会选举中央委员，耀邦得票一千八百多，只少几十票。随后一中全会选举政治局委员，中央委员一百七十三人，耀邦得一百六十六票，后来知道未投他的七票中，有他自己一票。
在中央委员的选举中，邓力群落选了，据说为了照顾，违反程序，临时将他放到中顾委候选名单中（无差额），以最少票入选。在中顾委选举常委时，又想让他进常委，气氛很是紧张（我是亲临其境的）。一共有一百八十七投票，邓力群只得八十五票，连零头都不够，又落选了。
胡乔木只得了一百三十五票，是票最少的二人之一。选举完后照相，临时撤去邓力群的前排座（事先为当选常委准备的）。胡乔木最后走过来，一脸死色，无人同他打招呼。
人眼是秤。不言而喻，胡乔木晚年在“清污运动”中的“左”的表现以及与周扬的论战，使他在中共中央委员的选举中的得票数剧降，同时也使他的“副手”邓力群落选。正因为这样，胡乔木在衰病缠身的人生黄昏之际，感叹“晚年遭遇颇离奇”……
不过，诚如胡绳所言：
胡乔木同志也有他的缺点和弱点。他自己说过，他的思考所得有些并不周到。但是把他一生的思想活动和工作总起来看，是值得后人景仰和学习的。
即便是“晚年遭遇颇离奇”，胡乔木在他生命的最后时刻，仍然埋头于工作。他的夫人谷羽深情地回忆：
1990年11月，薄老的《若干重大决策与事件回顾》上卷完稿，派人将书稿送给乔木，请他提意见。这时，乔木的身体越来越虚弱，吃化疗药的反应也越来越大，“兴奋剂”，镇静药轮番交替，支撑着他的病躯。尽管这样，他还是毫不犹豫地接受下来，仔细阅读。周围的同志及全家人，看到他那样拼命，都劝他要遵医嘱，真正休息，但都没有效果。医院的一位主任大夫认为这样下去对乔木的身体危害太大，很严肃地劝他：“胡老，这里是医院，不是办公室，你得遵守医院的纪律，不能再这样工作了！”乔木当着医生的面表示接受“批评”，把稿子收起来，等医生一走，他又拿出来，全神贯注地看起来。就这样，他硬是拖着虚弱的病躯，把薄老的书稿看了两遍，仔细地提出修改意见，派人给薄老送去。
几年来，周围的同志和朋友都劝他写回忆录，他都没有同意。看过薄老的这部书稿后，经大家再三劝说，他才下了决心，1991年6月，在经过仔细考虑后，乔木给江泽民等中央领导同志写了一个报告，表示准备“写本关于毛主席的回忆录”，重点写他所接触和了解的毛主席在四十年代和五十年代的一些重要政治活动，准备在纪念毛主席诞辰一百周年时出版。他的报告随即得到批准。而这时，乔木年初在三零一医院做手术，已发现他体内的癌细胞己扩散到骨头上了。但他自己并不知道，他不认为病情有多严重，又为写回忆录忙开了。他先后同参与这项工作的同志进行了二十多次谈话，井对按他谈话而整理出的部分稿子作了审定和修改，成为现在奉献给读者的《胡乔木回忆毛泽东》。可惜的是五十年代部分没有来得及动手，成为无法弥补的憾事。
也是在这一年的四，五月间，为纪念党的七十周年，乔木又以重病之躯紧张地赶写了长篇论文《中国共产党怎样发展了马克思列宁主义》，在6月25日的《人民日报》上发表。这是他倾注了最后的心力写成的一篇很有思想深度的理论文章。文章写完时，他已是精疲力尽了。
谷羽还忆及：
1992年6月1日，是乔木八十岁生日，我们一家人给他搞了一个小小的生日晚会。儿子为他塑了一尊头像，神态逼真。晚会上还演唱了傅庚辰为他的诗《希望》谱写的歌，不少亲朋好友来向他祝贺，乔木被家人和朋友对他的敬爱所感染，他笑了，笑得那么开心！在他一生中，这是很少见到的。生日晚会后，他高兴了好几天，几次跟我说，他希望活到九十岁。大有要“把人生的道路再走一程”的劲头。没想到一个月以后，乔木就因癌症扩散引起骨折住进了医院。在病床上，他还对我说，我要活到九十岁，我希望做两件事：一是完成对主席五十年代政治活动的回忆录的写作；二是重写一部完整的中共党史着作。
胡乔木“希望做两件事”未及着手，他就离开了这个世界，成为终生的遗憾。
胡乔木一生着有：《中国共产党的三十年》、《胡乔木文集》、《关于人道主义和异化问题》、诗集《人比月亮更美丽》。
胡乔木晚年读了薄一波的《若干重大决策与事件的回顾》，十分赞赏，便仿照薄一波组织一些人写回忆录。胡乔木的回忆录以自己的经历为线索，以毛泽东为中心进行回忆，回顾二十世纪四、五十年代毛泽东的思想和决策。
1992年9月28日，胡乔木在北京逝世，终年81岁。遗体于10月4日火化。按照胡乔木生前遗愿，10月26日将骨灰撒在延安地区。
胡乔木去世时，他的回忆录并未完成。在他去世之后，回忆录的编写组把未完稿加以整理，交给人民出版社，于1994年出版，取名《胡乔木回忆毛泽东》。
1994年，《回忆胡乔木》、《胡乔木文集》出版发行。
1995年12月，胡乔木的一万四千件档案资料和四万余册图书，由其子女分别捐赠给中央档案馆、当代中国研究所和故乡江苏盐城市。
1997年6月1日，胡乔木塑像在江苏盐城图书馆揭幕。
1999年9月，《乔木文丛》由人民出版社出版。《乔木文丛》由《胡乔木谈中共党史》、《胡乔木谈新闻出版》、《胡乔木谈文学艺术》、《胡乔木谈语言文字》四卷专题文集构成，相当全面地记录和展示了胡乔木在中共党史研究、新中国新闻事业、中国文字改革和社会主义文学艺术事业领域的指导作用和学术成就。《乔木文丛》是对已经出版的《胡乔木文集》的补充。
<hr />
注释：