家族内的嫌隙由此萌芽。
而拿到洋房支配权的刘虹和白庭荫在朋友建议下，准备大干一场。2003年年末，他们与当时的卢湾区文化局就旧居的开发利用等，进行了多次商谈，也有回沪探亲的刘麟、刘虬、刘蟾、朋友白羽等多次参与，最后决定在旧居基础上筹建刘海粟纪念场馆，同时，由白庭荫和白羽自筹资金1000万元，注册一个以刘海粟命名的文化产业公司，在故居内引入一个美术学校和一间画廊，其目的，据称主要是为保证场馆的运转。
同时，白庭荫也在家族内部把想法和盘托出。结果，对于老白的提议，七兄妹之间发生了争议，有支持，有反对，有沉默。其中，回沪参事的大哥刘麟起初站在白庭荫夫妇一边。老白说，2004年4月初，刘麟夫妇到上海后，还特地在给家族兄妹的倡议书中提到：“考虑到刘虹夫妇俩长住上海，并且从开始到现在已经配合卢湾区做了很多工作，我建议我们推举他们俩作为家属代表，继续积极努力地去配合政府的工作。”
不过据白庭荫说，随后海老的小儿子刘虬就给时任卢湾区文化局局长写了一封信，大意是“旧居如何处理是我们家里的事情，谁要你们文化局那么起劲？”至此，筹建“旧居”纪念场馆的事也就不了了之。
2005年6月，白庭荫以画展的形式为夏老举办了一个庆贺九十大寿的生日宴会，可是据他透露，社会上的反响“非常成功”，但在家族内部却是暗潮涌动。宴会之后，刘家兄妹开了个家庭会议，经过争论后最终形成决议：文化产业公司不许私人搞了，将旧居捐给政府搞刘海粟故居。
白庭荫说，“这个结果让刘麟对我很失望，由此才跟刘蟾和刘虬联手，开始筹备了这场官司，在2005年11月兴师动众到上海，正式上演了这场闹剧。”
而原告方对于诉讼的缘由，则有另一种说法。
作为原告之一的刘蟾在2006年7月接受媒体采访时称，1994年父亲去世后，母亲夏伊乔遵循父亲遗愿，将大部分书画和收藏捐献给国家。而上海复兴中路512号是父亲的旧居，保存了大量文物，包括父母二人的书画作品、收藏及手稿等。2003年3月，姐姐刘虹从香港迁回上海。她要了旧居的钥匙后交给了丈夫白庭荫，白庭荫则“雇用工人”傅伟明等人在旧居内进行大清理。
然而，到了2005年6月25日，她和几位亲属在网上发现，大批刘海粟和夏伊乔的书画作品和藏品即将被拍卖，而且列明是家属提供的，但这些书画都是原来存放在刘海粟旧居中的。经他们调查，大众拍卖公司的49幅是傅伟明交付拍卖的，工美拍卖公司的1幅是白庭荫交付拍卖的。
其后，他们几个子女又得知，自2004年起，原放在刘海粟旧居内的物品不断地被卖出，就此，五名子女和夏老向上海市二中院提交了起诉状。
对于刘蟾女士的说法，白庭荫极力反驳。
其一，海老的故居清点和藏品捐赠是在1994年3月至11月完成的，之后一直到2003年4月5日，故居完全是在刘蟾控制下。
其二，他与刘虹在2003年末对故居进行清扫整理时，的确发现了一些东西，但都是看来很有价值的、遗漏的大量文件资料，而不是什么书画作品和藏品，关于这一点，在刘虹给刘豹夫妻的一封信中就有提及。
其三，诉讼案中争议的送拍藏品，有些是海老生前就送给朋友的，比如《自得图》、《江山胜览图》等，与本案无关。其他的，有的是夏老生前送给他女儿白瑜的，有的是送给他本人的，对此他只有理论上的根据，确实拿不出实打实的证据。
据记者了解，夏老的三个亲生子女刘虬、刘虹和刘蟾，只有刘虹有一个女儿，从情理上讲，外祖母送几幅画给唯一的、非常疼爱的外孙女，也的确是正常的。另据老白坦言，在夏老晚年，他这个“蹩脚女婿”花钱费力为她办了好多事，还不包括为她办寿宴、开画展、制作画册等；就是在夏老生病之前，她感到亏欠老白的人情，一定要自掏腰包请他吃一顿饭。夏老在病倒前仍念念不忘地想要把复兴中路512号改造成纪念场地，也都指望着老白来办事，老岳母送几幅画给女婿表达谢意，也是再正常不过的。