“虽然自己东莞家中收藏很多，香港的姨妈家里也有两层楼的古玩器物供赏玩，但我从不知道我家里在英国还有那么庞大的一笔财富。只是偶尔姨妈会开玩笑似地说，万一我有事，英国的‘那些东西’你来接管之类的话，但谁也没有当真。直到最后她交给我的那张写有地址的地图。”
为了守住这份祖上留下的遗产而终身未嫁的姨妈，在某一个深夜永远地离开了人世，赵泰来说，这批宝藏的发现，彻底改变了他的命运。此后的十年，他潜心清理这些文物，自己出钱将这些东西慢慢运送出来，其间难免遭受到地窖中老鼠、毒蛇的袭击。英国物价昂贵，一块包装泡沫就卖4镑，为了节约，开始赵泰来住着豪宅，却每天去捡包装箱……“我没有卖过一件东西，哪怕卖掉英国的别墅，也没想过卖掉这些古董。因为，这些古物对我的影响太深了。”
回忆
特殊年代的心灵阵痛
尽管如今在收藏界是名副其实的“大腕”，但少时的赵泰来自觉对书画、古玩并无兴趣。只是托祖宗的福，家中收藏有大量的古董器物，自小被长辈勒令学画而已。
赵泰来的祖上曾供职于清廷内府，曾外祖父伍廷芳是中国近代著名外交家、法学家，这批家传的宝物，也正是由伍廷芳主持埋在了英国的农场之下。清末民初，伍廷芳的头衔多得数不过来：美国公使、西班牙公使、司法总长、外交总长、代总理等，赵泰来显然对这样的家世有着一份自得：“外婆是伍廷芳的女儿，外公的父亲是溥仪的老师，而祖母是廖承志姐姐的好朋友，来往的都是这些人，陆陆续续家里的古董字画就很多。父亲、爷爷、姨妈他们都很喜欢这些古董，收藏在家中，自己赏玩。”
然而，平静的生活很快被打破了。上世纪60年代的那场浩劫，首先波及的便是赵家这样的家庭。一波又一波的人上门来，粗暴地撬起赵家的地板，不断翻检着是否有要砸掉、破坏的东西，一次又一次的抄家，让赵父不堪承受，心痛不已。而最遭殃的便是家中所藏的那些珍贵古玩字画。
“我母亲对我们说，有人来了，就不许说话，只能看只能听。所以我性格很内向，就看着他们疯狂地在家里烧掉家中的古字画，那些字画都是当年的裱工，非常珍贵，但我就这样看着他们一张一张、一幅一幅地把有宋徽宗题词、董其昌题词、乾隆题词的字画烧掉，我父亲哭了，但什么也挽回不了。我家的地板前前后后被撬了十几次，包括器物被砸烂的，敲碎的不计其数，损失很大。”浩劫期间，赵父过世，赵泰来随着家族中的一些兄弟姐妹一同来到了香港，那里生活着家族中的绝大部分亲戚，居住在姨妈的家中。
“姨妈是个大家闺秀，读过很多书，终身未嫁。”在赵泰来的心中，自从14岁时到了香港，便一直跟随姨妈生活，姨妈对其的影响甚至超过了母亲。“姨妈家的隔壁住着黄君璧，与赵少昂等也来往很多，尤其是黄君璧老师与张大千是非常好的朋友，张大千来香港后也经常来家里，但主要目的是看家里的古画，倒不是应酬。”说着这些儿时的往事，赵泰来的声调微微有些许上扬，也许那个时候的“蓬荜生辉”一直留存在他的心里。
“我当时常常在想，那么好的东西，为什么会有人要去破坏它，那么珍贵的老祖宗留下的东西，破坏掉就不可能再有的东西，香港人想出钱买都买不到的东西，怎么就被他们这样随随便便地烧掉了。我想不通，无法理解，只觉得遗憾、心痛，性格也越发的内向，常常不讲话不出门也不与人交流，家里人说我是‘哑巴’。”