在新居落成之时，孙多慈特购枫树苗百株作为点缀庭院之用，也为祝贺老师新画室的建成。但事机不密，又为蒋碧薇得知，怒不可遏，做炊之薪。徐悲鸿异常气恼，但慑于夫人之怒，忍气吞声，悲痛之余，乃将其室取名为“无枫堂”，并刻“无枫堂”印章以抒郁愤和不忘孙多慈。那一时期他的画室也常以画枫树为景，每画必钤上“无枫堂”印章，以示怀念这一隐痛。此后，徐蒋关系每况愈下。
急雨狂风势不禁，
放舟弃桌迁亭阴。
剥莲认识心中苦，
独自沉沉味苦心。
小诗录以少陵道兄。
悲鸿。
这是徐悲鸿在隐痛中写的一首诗，显然不是为好友王少陵写的。王少陵居纽约，一直将徐悲鸿的手迹诗悬挂在客室中，知情者一看便知这是写给一位心爱的女性。
据王少陵说，徐、孙二人分离多年仍有书信不断，当年王从大陆回美，临行前向徐悲鸿告别，徐悲鸿正在画室写这首诗，得知王少陵即回美，徐悲鸿要画幅画送他纪念，因赶飞机来不及了，王少陵便要了这首墨迹尚没干的诗。徐悲鸿说这是写给孙多慈的。后来，孙多慈每次从台湾去美国见王少陵，每次见到挂在墙上玻璃框中的这首诗，都心酸落泪，她知道这是徐悲鸿写给她的。
孙多慈后来嫁给了许绍棣，婚后十分后悔，二人间从来没有感情，年龄也悬殊二三十岁，经常口战。许绍棣是坚决呈请国民党中央通讯社通缉“堕落文人鲁迅”的党棍文人，在其妻生病期间，许又看上了郁达夫的妻子王映霞，答应王和达夫离婚后娶她。但王映霞和郁达夫离婚后，许绍棣又看上了更年轻貌美的孙多慈。孙多慈爱徐悲鸿，但徐悲鸿却无法和蒋碧薇离婚。许绍棣的原妻已死，在许的追求下，孙多慈嫁给了他。后来随许到了台湾。但她一直看不起许，更加思念徐悲鸿，经常借故从台湾去美国，住在女物理学家吴健雄家里，也多次去王少陵家，每次见到徐悲鸿的诗，都忍不住落泪，感叹很久。
1952年，在台湾师范大学任教的、40岁左右的孙多慈画的《寒江孤帆图》，题写了一首她当年写给徐悲鸿的五言诗：
极目孤帆远，无言上小楼。
寒江沉落日，黄叶下深秋。
风励防侵体，云峰尽入眸。
不知天地外，更有几人愁？
孙多慈晚年患乳腺癌，1975年2月在物理学家吴健雄美国的家里逝世。
吴健雄是孙多慈南京中央大学的同学。孙多慈和徐悲鸿师生苦恋之际，吴健雄劝过孙多慈面对现实，当断则断，免得越弄越乱。
抗战爆发后，孙多慈一家流徒到长沙，徐悲鸿赶去看她，还把她一家人接到桂林，又为她在广西省政府谋得一职。他们师生那段日子常去漓江写生，可惜愉快的时光并不太长，孙家全家不久离开桂林迁往浙江丽水，直到徐悲鸿跟蒋碧薇仳离，孙家还是反对女儿跟徐老师好。徐悲鸿到印度讲学那四五年里，孙多慈终于嫁给了浙江教育厅厅长许绍棣，徐悲鸿不久也娶了廖静文。
孙多慈迁居丽水还跟徐悲鸿通信，写过两首诗给他，五言律诗之外还有一首七绝：
一片残阳柳万丝，秋风江上挂帆时，
伤心家园无限恨，红树青山总不知！（摘自《毛泽东与当代名人》第三章部分内容）