这时，长孙无忌看了看褚遂良，他们早已说好相互呼应，只要有一人出头，另一人马上附和。于是褚遂良当即站出来奏道：“皇后系出名门，也是先帝为陛下所娶。先帝崩殂之际，曾拉着微臣的手说：朕现在将佳儿和佳妇托付给卿。当时陛下也在场，想必听得很清楚。臣没听说皇后犯了什么过错，岂可轻言废立之事！臣绝不会为了曲意奉承陛下而违背先帝的遗命。更何况，武氏曾经伺奉过先帝，这是人人都知道的事，又怎么能瞒得过呢？倘若后人得知此事，将会做何感想？臣的这些话已触怒了陛下，所以臣甘愿领死。”
说完，褚遂良将笏置于阶前笏是官员手执之物，将它放下表示辞职一头向墙上撞过去，他的额头当即就裂开了，血流如注。
高宗见状暴怒不已，他喝道：“闭嘴！还不快退下！”
而武昭仪为了早点得知商讨结果，在四人进宫之前就已在旁边的帘后端坐。褚遂良说的每一个字都如同一把利剑，插入了她的心里，尤其是那句“武氏曾经伺奉过先帝”，不禁令她想起了自己在尼姑庵苦苦度日的凄惨情形。念及此，她简直怒不可遏。高宗听了这些话也不好受，这个家伙倚老卖老，当众揭自己宠幸父亲旧人的老底，让自己这个皇帝的面子往哪儿搁？
这时，早已按捺不住的武昭仪在帘后厉声叫道：“何不杀了这个丑八怪！”
在武则天的一生中，这是她仅有的一次失态，即便后来听到骆宾王痛骂自己，她也是笑脸相迎，很少喜怒形于色，由此可见褚遂良当时的言语多么尖锐。
长孙无忌闻言当即站出来阻拦：“万万不可！褚遂良即使有罪，亦不得加以刑罚，此乃先帝遗命。”
原来，唐太宗曾留下遗言：在他死后，褚遂良即使有罪，也不得处以极刑。有了这个保护，褚遂良应该不用担心触怒皇帝而大胆进谏了。
“确实有此规定。”高宗踌躇地说。坐在帘后的武昭仪则板着脸，不置可否，褚遂良捡回了一条命。
不过，历史的发展从来都不会因为个人的意愿而改变，尽管褚遂良以死相谏，仍然挡不住武氏登上皇后的宝座。随着形势的不断变化，皇后之位慢慢演变成两个不同利益集团之间的争夺，不再是后宫中两个女人之间的争斗了。一个集团是以长孙无忌、褚遂良、韩瑗等为代表的“关陇集团”，这些显赫家族之间的关系是以相互联姻为纽带建立起来的；另一个则是山东集团，他们出身低微，有些是商人，有些是通过科举进入官场的，朝局的变化让他们找到了机会，他们公开表示支持武昭仪做皇后。两派之间的斗争没过多久就结束了，取得胜利的是草根阶级山东集团。
公元655年，武昭仪被册封为皇后，而被她视为眼中钉的褚遂良在第一时间就被赶出了朝廷，调到遥远的潭州任都督。公元657年，她将褚遂良调到离京师更远的广西，同年，褚遂良被卷入中书令来济、侍中韩缓的谋反案，身败名裂。
晚年的褚遂良在绝望之中给高宗写了一封信，恳请他看在昔日的情分上饶恕自己，但结果仍是无济于事。公元659年，褚遂良在流放之中死去。
纵观褚遂良的一生，他是贞观元老，为大唐的兴盛立过功，又是著名的书法家，博闻广记，是一个人才。不过，他在政治上却并不明智，思想迂腐。很多人都认为武则天整治褚遂良完全是出于私心报复，其实并不尽然。