蒋介石不仅指使人弹劾白崇禧，而且还要他在罢免李宗仁问题上表态，故意为难白崇禧。甚至他的家也被“国安局”查抄，屋里的所有物品被翻了个底朝天，连地板也被揭开检查。
1954年，“国大”一届二次会议在台北召开。在这次大会上，有人弹劾白崇禧，罗列的罪状有三条：第一是私吞中央银行黄金7万两；第二是私吞汉口中央银行库存白银370余万两；第三是在徐州会战中，不遵守调令，拥兵自重。
身为“国大代表”的白崇禧马上进行反击，他给每位会议代表发了一份答复书，驳斥对他的弹劾。这份书面答复后来在香港《工商时报》上刊载后，引起不小的反响，舆论明显偏向白崇禧。此案后来也就不了了之。这次弹劾，其实就是在蒋介石的授意之下进行的。
蒋介石不仅指使人弹劾白崇禧，而且还要他在罢免李宗仁问题上表态，故意为难白崇禧。
白崇禧与李宗仁从统一两广到北伐抗战，数十年如一日，甘苦与共，有着深厚的友情。老朋友远在美国，蒋介石已把他整得够惨的了，现在又要他落井下石，白崇禧实在不愿意表这个态。但不表态又过不了关，最后只好在罢免李宗仁的联署书上签了名。
蒋介石为了报复白，凡是回击李宗仁时，都要白为其出力，一有风吹草动，就要白出来说话。1964年2月12日，李宗仁在纽约《先锋论坛报》上发表公开信，要求美国效法法国政府，承认新中国，实现中美邦交正常化。李宗仁的这一举动，遭到了岛内亲蒋报纸的攻击。白崇禧也奉命致电李宗仁，指责他“迭发谬论”，要他“幡然悔悟，以保晚节”。深知内情的海外人士明白，白崇禧身在台北，已没有说话的自由，他给李的电报，言不由衷，实非得已。
白崇禧刚到台北时，住在圆山，后来“台湾省政府”腾出一些房子给从大陆来台的公务人员居住，他便从圆山搬到松江路，后来买下了这所住宅。
就在白被除名的当年，他的家也被“国安局”查抄，屋里的所有物品被翻了个底朝天，连地板也被揭开检查。白崇禧非常气愤，他当即给负责情治部门的蒋经国打电话，问这是怎么回事。蒋经国答他不知道此事，要白直接去问“总统”。白崇禧又将电话打到“总统府”，老蒋则称：“我知道此事，不仅对你如此，人人都应该这样来一次。”白崇禧气得直翻眼，毫无办法。
失去自由 受到监视
在台湾，白崇禧的行动受到监视，逐渐被“架空”，除了“战略顾问委员会”副主席这个空头衔外，没有任何职务。
白崇禧在台湾，行动也失去了自由。他的寓所对面是派出所，派出所的警员有不少就是特工人员。白公馆进进出出的客人，常常受到特务的跟踪和监视。白崇禧喜欢下棋，以前军务繁忙，但只要一有空，他总要拉部下杀上几盘。来台湾后，也经常请人来陪他下棋。可后来，因老受情治人员的盘问，再也无人敢来陪他下棋了。白崇禧同台湾军政界上层人士的联系无形之中被隔开。
白崇禧喜欢打猎，有一次他一时兴起，邀上几个朋友开车到位于台中的阿里山去打猎。他们一行到了山脚下，然后乘小火车上山。
这天天气晴朗，好久没出门的白崇禧心情很好。阿里山古木参天，鸟虫啁鸣，坐在小火车里的白崇禧哼着歌儿，谈着他过去在广西打猎的一些往事。
铁路是单行线，出发前已与山上打过招呼，可是火车开出车站没多远，忽然山上一列小火车疾驶而来。好在上山的火车刚刚出站，速度不是很快，白崇禧急忙跳下车，才幸免于难。
这次差一点发生的事故，是属偶然，还是有人故意所为，不得而知。从此，白崇禧再也不敢外出了。