林语堂说：“山影响了我对人生的看法。……我是农家的儿子，以此自诩。在山里长大，使我心思和偏好都简朴，令我建树一种立身处世的超然观念，而不流为政治的、文艺的、学院的和其他种种式式的骗子。童年时与自然接近，足为我一生在智识与道德上的后盾，使我鄙视社会中的伪善和人情的势利。”
在寻源书院、圣约翰大学读书时，林语堂均以第二名的成绩毕业。他的理由是：不论做什么事，一生都不愿居第一。
林语堂崇拜李香君，称她为奇女子。他托友人重金求得一幅李香君的画像，并在画上提了一首六言打油“歪诗”。这幅画，他挂在书房，使“全室珠光宝气不复有童气”。日后无论走到哪里，他都带着。
林语堂认为《浮生六记》中的芸娘是他心中的理想女人，为她“终日痴昏”，他曾去苏州万福山寻找《浮生六记》作者沈三白、陈芸夫妇的坟墓，却觅而不得。
在上海居住时，林语堂常带着三个女儿在花园中散步；夏天阵雨过后，他和孩子们到屋后的溪水中去捕小鱼；他为孩子们在花园中开辟了一个小菜园，让她们自己种西红柿、豆子、南瓜等；夏天，林家的花园里开着荷花，秋天则种满了菊花；冬天，他和全家人一起到公园打雪仗，直到公园关门才回家。周末，他会带着全家去看电影，或到附近的城市旅游。
幼女林相如七岁生日那天，林语堂一早起来就跑到厨房，用糖霜在蛋糕上写上女儿的名字，高兴地像个小孩子。大家唱“生日快乐”时，他为女儿们甜美的歌声感动不已，流下泪来，他不停地亲着相如，并送给她一元钱。
林语堂一家常年在国外生活，但他一直教三个女儿学习中文，亲自为她们讲解中国的历史、文化、哲学等。一次，林为女儿们讲授唐诗，讲到崔护的“去年今日此门中，人面桃花相映红”时，他声情并茂地讲述着诗中的故事，哭得涕泗横流，将书都打湿了。和女儿们一起读《红楼梦》，有时他也哭得眼泪汪汪的。
林语堂来到奥地利莫扎特墓前时，忍不住泪下，他说：“我向不喜欢流泪，到此也流了。他的音乐，是那样细腻缠绵，是含泪而作的。”
马星野见过林语堂三次流泪：第一次是到台湾访问时拜谒胡适墓；第二次是向马讲述林的幼年往事，谈及二姐时；第三次是1969年去比利时参加世界笔会，拜托在巴黎的苏秀法到比利时安排接待，结果苏带着长子开车前往比利时的途中发生车祸，苏的长子丧生，林语堂闻讯如遭雷击，泪如雨下。
四十岁生日时，林语堂作自寿诗云：“而今行年虽四十，尚喜未沦士大夫。一点童心犹未泯，半丝白鬓尚且无。”
林语堂游西湖，看见博览会塔，心中大为不满，以为好似美人脸上的一点烂疮。他说：“我由是立志，何时率领军队打入杭州，必先对准其放炮，先把这西子脸上的烂疮，击个粉碎，后人必定有诗为证云：西湖千树影苍苍，独有丑碑陋难当；林子将军气不过，扶来大炮击烂疮。”
1938年，林语堂全家旅欧，适逢慕尼黑事件发生，形势十分紧张。林听完希特勒的广播讲话后，愤怒地喊道：“世界是没有上帝的，假使是有，应当使希特勒在演说中间停止心脏的跳跃，以挽救世界的和平。”由于局势的影响，林停止写作5天。事后他说，他损失5天的工作时间，按每天100元计算，共计500元，要求希特勒赔偿。
为研制出中文打字机的模型，林语堂几乎倾家荡产。一次，林把玩着一个纸型键盘，对女儿林太乙说：“我这个打字机的发明，主要在利用上下形检字法的键盘，其他机械上的问题是不难解决的。”林太乙战战兢兢地问父亲：“那么，你假使只把汉字照上下形检字法分类，弄个纸型键盘，像你手里拿的一样，不就可以向人家推销吗？有没有制造模型的必要？”林语堂看看女儿，轻声说：“也许不造模型也可以推销。但是我忍不住，我一定要造一部打字机，使我可以真正地打字。我当然没想到要花那么多钱。”
林语堂天性乐观，他说：“我像一个皮球，你把我压在深水里，我还是会浮到水面。”研制打字机破产后，林到联合国教科文组织工作。但他嫌工作刻板而辞职，寄居在朋友家中。廖翠凤非常担忧，每天都重复说：“我们没钱了，我们欠人家钱。我们从这里搬走之前，一定要把椅套洗干净还人家。”林安慰她说：“凤，我们从头来过。你别担心，我这支邋遢的笔还可以赚两个钱。”
林语堂喜欢吃小馆子，不喜欢吃整桌酒席，他将整桌酒席称为“八股菜”。
林语堂夫妇到伦敦探望女儿林太乙一家，看到外孙女黎至文也来接机，林高兴地大声呼喊：“妞妞！”这时机场的人都扭过头来看，七八岁的黎至文觉得很难为情。
黎至文还回忆，一次，他们在意大利可磨湖的小渔船上钓鱼，林语堂忽然站起来，高声唱意大利歌曲《噢！我的太阳》，惹得附近的渔民大笑不止。
林语堂喜欢和黎至文、黎至怡姐弟一起做花生糖、玩捉迷藏，快乐得像个孩子，称他们三人是“三个小孩”。他将自己小时候的照片和黎家姐弟的照片拼在一起，拼出一张“三个小孩”的照片。廖翠凤出门买菜时，三个人将鞋子放在饭桌上，躲进藏衣室，等廖回来叫他们，他们不答应，只是躲在藏衣室咯咯地笑，到最后忍不住了，才出来扑到廖身上大笑。
一次，林语堂、林太乙以及两个小外孙去逛菜市场，摸奖得了一只活的大白鹅。回家的时候，林语堂开着车，后座上的大白鹅虽双脚被绑住了，却拼命叫唤，并伸长了脖子要咬他，两个小孩吓得大哭起来。林太乙没法拉住鹅，只能让两个孩子不要哭。林语堂顿时失去了冷静，开车时脸都涨红了，回家他对廖翠凤郁闷地说：“带着一只鹅和两个哭啼的孩子开车，下次我不来了！”
林太乙回忆，一次，林语堂夫妇到台北机场送林太乙返港，因为到得过早，他们就在咖啡室消磨时间。不久，外面有一架飞机降落，一小队士兵过去迎接。林语堂忙跑到窗边去看热闹，兴奋地叫道：“快点来看，什么大人物到了！”
曾跟随林语堂编撰英汉词典的马骥伸说：“他从不矫饰，极少挑剔；对一切新鲜的人、事、物都充满了纯真的好奇，但大都浅尝辄止，并不耽溺。”
黎至怡回忆，儿时，他和外公林语堂躺在公园的草地上，观察一个蚂蚁丘，看着熙熙攘攘的蚂蚁来来往往，林语堂说：“这些蚂蚁在忙什么呢？它们怎么知道应该做什么？他们看起来多么强壮！”黎至怡觉得外公的话正好道出了他心中的疑问，二人一起提出了许多问题，但找不到答案。
一次，林语堂和黎至怡去香港海边玩，两人大吃冰激凌，在沙滩上找小蟹，在海里游泳，玩得不亦乐乎。后来肚子饿了，林提议去浅水湾大饭店吃饭。小黎至怡觉得两人满身是沙子，便对林说，恐怕人家不会让他们进那样的豪华饭店。林语堂笑着说：“外表不重要，像我们俩这么体面的人怎么不能踏进那个大饭店？”于是两人大大方方进了餐厅，要了张靠窗子的桌子，果然无人拒绝。黎望着二人留下的沙迹，觉得很惊奇。
郁达夫说林语堂：“唯其憨直，唯其浑朴，所以容易上人家的当。”
六七十年代，香港的基金市场颇为混乱。一次，一位基金公司的代表人去找林语堂夫妇，说得天花乱坠，二人信以为真，便拿出钱来交给那人。结果后来这笔钱一分都没拿回来。
黄肇珩回忆，林语堂每天会收到许多信件，有求字的、写序的、求介绍工作的、写书评的、求助的、谈联考的、改正英文的……内容五花八门，林语堂并不是每封都回复，但他看信时，在每封信上都加上批语，用笔在上面划线，或红或蓝或黑，有些是提示他回信的重点，更多的则是指出其中的错误，或引错了典故、或抄错了诗词、或用字不当等。
林语堂收到要求他亲笔签名留念的信件，回信时，他常让10岁的外孙女黎至文代他签上名字。
林语堂曾为自己做了一副对联：“两脚踏东西文化，一心评宇宙文章。”他自己设计的台北阳明山的房子，用几根西方螺旋圆柱顶着一弯回廊，绕着的却是一个东方式的天井；书房命名为“有不为斋”。
长女自杀身亡后，林语堂的健康每况愈下，便到香港与次女、三女长住。一次，三女儿林相如开车陪林语堂上街散心，从后视镜中看着林憔悴的脸，忽然问道：“爸，人活在世界上有什么意思？”林不假思索地回答：“我认为生命的目的是要真正享受人生。”