1962年2月22日，吴健雄从美国飞抵台湾拜访胡适，顺便友情参加24日的院士会议。这次院士会议上，胡适抱着乐观主义精神，大谈十几年来在这个孤岛上，虽算是离群索居，在知识和物质的困难情形之下，总算做出点东西。然后他继续骄傲地说他教出了两个物理学家，非常引以自豪。

胡适话刚一结束，副院长李济不以为然，与胡适乐观态度唱反调。他说，经过50年提倡，科学思想还是在中国生根不成。胡适显然在李济悲观主义话语中受到了刺激，于是说：

“李济先生太悲观了。……科学的发展，要从头做起，从最基本的做起，决不敢凭空地想迎头赶上。我去年说了25分钟的话，引起了‘围剿’，不要去管它，那是小事体，小事体。我挨了40年的骂，从来不生气，并且欢迎之至，因为这是代表了自由中国的言论自由和思想自由。”

于是，很快出现了这样一幕：胡适含着笑容和一些人握手，移步走到会场中部正要转身说话，忽然面色苍白，晃了一晃仰身向后倒下，后脑先碰到桌沿，再摔倒在地上。医生接连为他注入三针强心剂均无济于事。这位新文化运动的旗手，为中国科学民主呐喊、操劳一生的自由主义领袖，四十多年来名震宇内的胡适，因心脏病猝发而与世长辞，终年72岁。

胡适在台湾逝世无疑成了轰动一时的重磅新闻，一时间各种悼念胡适的诗文布满台湾报刊。台湾政府组织了治丧委员会，由陈诚为主任委员；张群、王云五、朱家骅、蒋梦麟、王世杰、黄季陆为副主任委员；于右任、蒋经国等为委员。台湾当局也趁机做一番反共宣传，将胡适思想荒谬地“盖棺定论”为坚决反对共产主义哲学。这时“倒胡派”的言论亦销声匿迹，胡适获得了极大的哀荣。

胡适几年前就用英文留下遗嘱，并请毛子水、杨联陞做遗嘱执行人：死后火葬，骨灰由治丧的友人们执行处理；愿意把留在北平的102箱书全部捐献给北大；家中一切文稿论文和存书，全部捐赠台湾大学；个人如有遗产给儿子祖望和思杜兄弟，如他们先自己而去，则给孙子们平分……但清点胡适在台湾财物时，除了他的书籍、手稿、文件之外，所有存款仅是135美元，令人唏嘘不已。

胡适灵堂设在台北市极乐殡仪馆，遗体安放在冷杉木特制的灵柩里，身着蓝色长袍，黑色马褂，脚穿布鞋，遗体上覆盖着北京大学校旗。蒋介石3月1日亲往祭吊，并亲书挽联一副悬挂灵堂中央：“新文化中旧道德的楷模；旧伦理中新思想的师表。”

前往灵堂瞻仰遗容的市民络绎不绝，殡仪馆前几天内人流不息。胡适治丧委员会光收到各界人士送的挽联挽幛就有八百余件，其中如：“共党既骂之，国人又骂之，容身无片土，天乎痛哉！”

3月1日，陈诚率治丧委员会全体委员举行公祭，参加人士近3万多人，上至国民党党政大员，下至家庭妇女，都前往致祭瞻仰胡适博士遗容。

10月15日，胡适遗体入殓，安葬于台北南港旧庄墓园。启灵出殡时，从台北市到南港的马路两旁自动来送殡者多不胜计。灵车开至松山以后，沿途居民家家燃香，户户路祭，直到南港，一路鞭炮声不断。

这天是入秋以来最凉的一天，细雨霏霏，胡适棺木上覆盖的是北大校旗，万余人陪着灵柩出殡，一起送走了这位在中国现代史上散发着智慧光芒与温煦气息的学者。这一天，台湾有三十万人自发性地为他送葬。

胡适安葬于南港“中央研究院”大门对面的山坡上。他的墓门上刻着蒋介石书写的“德学俱隆”四字。右首高坡上，有北京大学校友会建造的纪念亭；左首有中国公学校友会建造的半身铜像。胡适墓志铭由毛子水撰文，金石名家王壮为先生书写，其内容为：

“这是胡适先生的墓，生于中华民国纪元前二十一年，卒于中华民国五十一年。

这个为学术和文化的进步，为思想和言论的自由，为民族的尊荣，为人类的幸福而苦心焦思，敝精劳神以至身死的人，现在在这里安息了！

我们相信，形骸终要化灭，陵谷也会变易，但现在墓中这位哲人所给予世界的光明，将永远存在！”