13岁时，郁达夫在富阳高等小学堂读书期间，就与比邻的“赵家少女”有过一段“水样的春愁”的初恋之情，时间长达两年之久。后来赵家少女订婚，他还深深懊丧自己失去了良机。大约在同一时期，他还与倩儿等两位姑娘有过类似的恋情。
后来郁达夫去了日本，又曾经与后藤隆子、蓧田梅野、玉儿等日本少女产生过恋情。后藤隆子被郁达夫昵称为“隆儿”，是郁达夫下宿处附近的“小家女”。郁达夫每次从学校到市上去，都要从她的家旁经过，遂产生情愫，并为她写下了四首诗。蓧田梅野是名古屋旅馆的侍者，郁达夫与她交往数月，同样也为她写有诗词。玉儿也是侍女，郁达夫为她所写的情诗“玉儿看病胭脂淡，瘦损东风一夜花，钟定月沉人不语，两行清泪落琵琶”至今为人称道。
李初梨说郁达夫是“摹拟的颓唐派，本质的清教徒”。
陈翔鹤说：郁达夫跟他们多次逛胡同，达夫的方法，是一条胡同、一个班子的慢慢看，先点若干班子的名，然后挑一个姑娘到她屋子里坐坐，或者一个也不挑。有一次，他对一个姑娘说：“让我抱抱吧，我已经有五六个月不亲近女人了！”这个姑娘就向他的怀里坐下去。
郁达夫从日本留学归来，在安庆法政学院教书，据说除了上课，全部时间和收入都花在游荡上。他寻花问柳的条件是：第一，年龄要大一些；第二，相貌要丑一些；第三，要没人爱过的。有一段时间，他的绰号就叫“三条件”。据此，老鸨婆便给他介绍了一位名叫“海棠”的妓女。据易君左说，他本人就是当年常随同郁达夫到海棠那里去打牌饮酒的数人之一，“这朵‘海棠花’我拜见过，当时芳龄不过比她的‘如意郎君’大两三岁，即二十七八岁，天生一副朱洪武的异相，嘴可容拳，下巴特长，而上额不容三指。据说这种面相，在男子当有‘帝王之尊’，在女子则谁也不敢领教。”
1921年他赴安庆的安徽法政专门学校执教时，与一位妓女海棠姑娘过从甚密。他每日任教结束，必到位于城外的海棠姑娘处，而由于有早课，他又必须凌晨时分早早赶到城门洞里，耐心地等城门打开。郁把自己每月教书所得的收入，都如数交她保管。有人认为，郁达夫这一时期创作的小说《茫茫夜》，可以认为是真实地记录下他的这一段感情生活。其中女主人公海棠，正是郁达夫过从甚密的海棠姑娘，而男主人公“于质夫”，当是郁达夫“夫子自道”了。
沈宁在《一个家族记忆中的名流政要》中写道，在安庆时，郁达夫对太太很好，12点钟下课，半个小时后和朋友聚会吃饭，中间还要回家去看太太一趟，安庆是个山城，虽有人力车，大家都不坐。郁达夫走路很快，只要有十分钟十五分钟，他一定旋风一样回家去看看太太。沈宁的小说《泪血尘烟》也曾这么记载。但是，根据其他资料分析，沈宁笔下郁达夫半个小时也要去探望的应该海棠姑娘而不是孙荃。
关于郁达夫，曹聚仁先生有个著名的比喻。他说：诗人住在历史上是神人，飘飘欲仙的；但住在你家隔壁就是个疯子。曹先生引了郁达夫的好友易君左讲的一个故事：说郁达夫在安庆教书的时候，有一次，他经过某小巷，看见一家杂货铺的老板娘颇有姿色，便上前搭讪，指名要买老板娘头上的别针和襟上的手帕，那老板娘见钱眼开，把两件私物真卖给他了。郁达夫买回后跑到寝室，对着镜子，用别针刺破自己的嘴巴和手指，让血滴在手帕上，放在鼻子底下狂嗅，越嗅越香，又哭又闹，令同室大为紧张，闹得满屋子人都以为他发神经病。
1926年冬，郁达夫在广州向戴季陶校长辞去中山大学教授和出版部主任之职的当天晚上，与白薇等人逛公园，后来又与白薇一道看电影，吃饭，甚是亲密。有天晚上，白薇送了他一张非常“灵敏可爱”的照片（《郁达夫日记》1926年11月21日）。不久，郁达夫就往上海去了，这段浪漫很快就随之结束。
郁达夫就在向王映霞猛烈求爱而没有得到王映霞的明确允诺之时，一度还向一位名叫徐之音的寡妇求爱，他甚至产生一种不可思议的幻觉，觉得这个寡妇“实在可爱之至”，比王映霞要“强得多”。
有了王映霞，郁达夫也没有停止对其他女性的欣赏。1927年4月15日，郁达夫见到一个叫“文娟”的女子，竟然为她所“迷乱”。
1928年秋天，郁达夫见到了美女作家谢冰莹时表现出十分兴奋和激动，王映霞见了就说他是个“放荡惯了的人”。
1934年7月23日，郁达夫见到了一位姓栾的小姐，于是在日记里记道：“栾小姐貌美，身体亦强健，在青岛接见的女士之中，当以她为最娇艳温柔。”
郁达夫在杭州生活期间，还有一个姓丁的女子到他这里来拜师，而这个女子虽然说是学生，但是年龄差不多30岁，结过婚不如意又离了婚，她非常仰慕郁达夫，为郁达夫在杭州修建的“风雨茅庐”提供不足的资金。像这样对年轻貌美女性的品评文字在他的这一时期的日记中还不少。
郁达夫与王映霞的婚姻陷入危机之时，他在新加坡欢迎他宴会上遇到了一个叫“玉娇”的歌女。这个歌女当时就坐在郁达夫的身边，她不仅钦佩郁达夫诗才，而且还敬酒三大杯，她在郁达夫的眼中因“两个大酒窝”而“娇美可爱”。其实，这并不表明郁达夫爱上了王映霞，而是这位玉娇小姐在郁达夫的眼里分明是王映霞的化身。有一次，郁达夫喝醉了酒，居然搂着玉娇小姐说：“映霞！是你对不起我！”他似乎从玉娇小姐身上找到了王映霞的年轻时的身影。郁达夫与玉娇小姐的浪漫故事才非常短暂，只有大约两年的时间。
王映霞离开星洲之后，郁达夫的心境极其孤寂和颓唐，这时，一位国色天香的女播音员李小瑛（筱瑛、晓瑛、晓音）出现在他的面前，使他已是一潭秋水的心池，又波动起一片涟漪。李筱英是福建人，毕业于上海暨南大学，能说流利的英语、上海话。1941年，李筱英刚满26岁，因和丈夫意见不合而离婚。当时她是新加坡情报部的华籍职员，后来又担任新加坡电台的华语播音员。李小瑛十分崇拜郁达夫的文学才华，并主动向郁达夫示爱。46岁的郁达夫在政治失意和家庭破裂之余，遇上这位花容月貌的佳人，一拍即合，两人感情迅速发展，不久，李小瑛就以郁达夫“契女”的名义搬到郁达夫家中居住，郁达夫也不避嫌疑，把自己的书房让给李小瑛，暗中则已实行同居之好。为了表示亲昵，郁达夫甚至用罗马史家Livius的英文名字Livy作为对李小瑛的昵称，还常用德语IchLiebedich（我爱你）来表示爱意。据王任叔说，他对这位李小姐，已到了“忠顺与卑屈，已到了奴隶的程度”。
但是，郁达夫和李筱英的结合遭到郁达夫的儿子，当时仅13岁的郁飞反对。虽然李筱英极力想搞好和郁飞的关系，时常带他去看电影，散场后还带他去高级餐厅饮冷品，并买很多玩具给他。郁飞想要架小望远镜看星象，她发薪水后领着郁飞去欧洲人商业区打算给他买，谁知只有大型的，价格相当于她的月薪，只能作罢。可是郁飞对这些始终不领情。郁达夫碍于儿子不接受李筱英，也不便正式结婚。1941年12月，李筱英痛苦地搬出郁家。太平洋战争爆发后，李小瑛退到爪哇岛，郁达夫逃亡到苏门答腊。为了表达自己的感情，郁达夫模仿唐代大诗人李商隐的《无题》，以李筱英为主人公写下了不少诗篇，后来将这些诗收入名为《离乱杂诗》的集子中。
对于郁达夫和李筱英的相恋同居，吴继岳在《值得我们怀念的爱国诗人郁达夫先生》中作了这样的评述：“李筱瑛一因久慕郁先生的才华，且知道郁先生已和王映霞仳离，由于同病相怜，李筱瑛便主动向郁先生示爱。……不久，李筱瑛公然以郁先生的‘契女’身份，搬进郁先生家里。那时郁先生的大儿子郁飞已十三四岁，对李筱瑛没有好感，郁先生也因受过王映霞的教训，对年龄几乎比自己小一半的美丽少妇，虽难拒她的热爱，但碍着儿子，不便注释结婚。两人虽已同居，但名义上还是‘契女’与‘契爷’。这种情绪约莫过了半年。”
李筱英后随军撤到印度，并跟一位青年广播员结婚，其后丈夫在一次车祸中丧生。她悲痛之余，返回新加坡，在“丽的呼声电台”任华文部主任。后来再嫁，并定居香港，生儿育女。
田汉在自传体小说《上海》中，为停妻别恋的朋友郁达夫辩护，将爱情的多元论归结为“艺术家的特权”。