1971年，77岁的林语堂出现中风初期征兆；三年后，在故宫博物院工作的长女林如斯自杀，这对林语堂夫妇的打击甚大，廖翠凤精神几近崩溃，从此只说厦门话，常呢喃着“我活着干什么？”她不再信任林语堂，也不信任林太乙，认为出了嫁的女儿就是别人家的人，唯独尚是单身的小女儿林相如能给她安慰，所以便赴港与女儿同住。原本健步如飞的林语堂自此急速衰老，记忆也开始衰退，但他仍安慰二女儿，“活着要快乐”；他也在文章里讲到，故旧多半去世了，回顾一生无论是成是败，他“都有权休息”。
1975年5月，林语堂在一篇序中写道：“我的笔写出我胸中的话。我的话说完了，我就要告辞。”林太乙吓了一跳，觉得父亲好像有死亡的预感。
林语堂变得常常爱掉眼泪，遇到风和日丽的时候，他流泪；听见山上鸟声，他流泪；圣诞节的时候，林太乙带他到百货公司，这里到处充满喜气洋洋的节日气氛，摆满了各式各样漂亮的装饰品，圣诞乐曲欢快地响着，大家高兴地选购礼物。林语堂从柜台上抓起一串假的珠链，泣不成声。林太乙觉得，这个世界太美了，父亲舍不得走。
这一年，林语堂因身心过于疲劳引起十二指肠下垂、溃疡，健康更走下坡，他开始坐轮椅，从林相如公寓的卧室到客厅都要坐轮椅。他甚至忘了怎么系睡袍上的腰带，家人只能教他，他很耐心地学。有时睡觉会从床上掉下来，自己爬不起来，但他怕吵到孩子们，就在地上躺到天亮。他坐在轮椅上对林太乙说：“我真羡慕你，想去哪里就去哪里。”
1976年3月23日，林语堂因胃出血送入香港玛丽医院，后因并发肺炎、心脏病突发，于3月26日晚间病逝于香港。4月1日移灵台北，一部《圣经》伴随，长眠于阳明山故居“有不为斋”后园中，享年八十二岁，墓碑由好友钱穆题字。
1985年，廖翠凤将阳明山的住宅及林语堂生前的藏书、作品、一部分手稿、代表性遗物捐赠给台北市政府。