在是否立武昭仪为皇后的斗争中，褚遂良与长孙无忌强烈反对任何废黜王皇后的企图，高宗召太尉长孙无忌、司空李积、尚书左仆射于志宁以及褚遂良，进官商议废后立后之事。褚遂良发了一通议论，给皇帝泼了一瓢冷水，而他的那种不要命的态度——将官笏放在台阶上，同时也把官帽摘下，叩头以致于流血——更使皇帝大为恼火，让士兵把他强行拉了出去。而坐在皇帝后边的武氏则恨不得立刻将他处死，在关键的时候，善于迎合旨意的李积却说了一句话：“此乃陛下家事，不合问外人。”这一来既改变了唐王朝的命运，也将褚遂良等人推入了悲剧的深渊。

武氏被册封为皇后，褚遂良也被武皇后赶出朝廷，褚遂良调到离京师极远的桂州去任都督。武则天则与许敬宗、李义府一起，诬告中书令来济、门下侍中韩瑗与在广西的褚遂良共谋反叛。晚年的褚遂良又一次被贬——这一次是被贬到更远的爱州，褚遂良在绝望之中，上了一封陈情书给高宗，诉说自己曾长期为高祖与太宗效劳，最坚决地支持高宗继位等等，结果仍是无济于事。

禇遂良在爱州带着遗憾离世，享年六十三岁，在他死后，武则天等人还没有放过他，一方面把他的官爵削掉，另一方面把他的子孙后代也流放到爱州。神龙政变后恢复官爵，后追赠谥号“文忠”，配享高宗庙庭；唐德宗时追赠太尉；唐懿宗时经安南观察使高骈奏请，将褚遂良在爱州的坟墓及后裔归葬于阳翟。

褚遂良工于书法，初学虞世南，后取法王羲之，与欧阳询、虞世南、薛稷并称“初唐四大家”，传世墨迹有《孟法师碑》《雁塔圣教序》等。

史事讲将2隋唐五代三月天