褚遂良，是散騎常侍褚亮的兒子。大業末年，跟隨他的父親在隴右，薛舉稱帝時，安排褚遂良為通事舍人。薛舉失敗后，他投奔朝廷，被任命為秦州都督府兵曹參軍。貞觀十年(636)，由秘書郎遷任起居郎。遂良廣博地涉獵文史，特別擅長隸書，他父親的朋友歐陽詢非常看重他。太宗曾經對侍中魏征說“：虞世南死后，沒有人可以談論書法。”魏征說：“褚遂良下筆遒勁，很得王逸少書體的真髓。”太宗當天就召令遂良為侍書。太宗曾經出王府重金購求王羲之的書法真跡，天下的人爭著攜帶古代書法赴皇帝的殿廷獻給太宗，當時不能分辨這些墨跡的真偽，遂良一一詳細論述它們的源流出處，沒有一點錯誤。
貞觀十五年(641)，太宗下詔，準備到泰山封禪，先到洛陽，彗星出現在太微座，沖犯郎位。遂良對太宗說：“陛下撥亂反正，功超前烈，東獄即將大功告成，天下非常幸運。然而走到洛陽，彗星就出現，這或許是有上天不許可的事。況且漢武帝猶豫不決數年，才舉行泰山封禪禮，臣下的愚見恭請陛下詳細考慮抉擇。”太宗認為他說得很對，下詔停止了封禪的事。當年，遂良遷任諫議大夫，兼任起居事，太宗曾經問他說：“你擔任起居，記錄什么事，大概人君能夠看到它嗎？”遂良回答說：“現在的起居，就是古代的左右史，寫人君的言行事跡，而且記錄善惡，作為鑒戒，也許可以令人主不做非法的事，沒有聽說帝王親自看史的。”太宗說“：朕有不好的事。你也必定記下它嗎？”遂良說“：遵守道德不如遵守自己的職責，臣的職責應當記載筆錄，君王的舉動必定記下來。”黃門侍郎劉洎說“：假若遂良不記，天下的人也會記下來。”太宗認為他們說的對。
當時魏王被太宗寵愛，對他的禮儀秩序等級像對嫡子一樣。當年，太宗問侍臣說“：當今國家什么事最急迫？”中書侍郎岑文本說“：《左傳》說‘導之以德，齊之以禮’，由此而言，禮儀最急。”遂良走上前說“：當今四方仰慕德行，誰敢做非分的事？但是太子、諸王，必須有一定的名分，陛下應當讓萬代效法把它留給子孫。”太宗說“：這話是對的。朕年歲將近五十，已經覺得衰老倦怠。已經由長子主管東宮，弟弟和庶子的數目將近五十，心里時常憂慮的就是這件事了。但是自古嫡子與庶子沒有良臣輔佐，何嘗不會傾敗國家。公等為朕搜訪賢德的人才，用來輔佐太子以及各王，都要求正道之士。況且事奉人年歲長了，就會摸透性情巴結逢迎，不懷好意伺機而動的現象，多由此發生。”于是限制王府官僚任職不得超過十二年。
貞觀十七年(643)，太宗問遂良說：“舜造漆器，禹雕切肉的砧板，當時勸諫舜、禹的有十余人，食用的器物之間，為什么苦諫呢？”遂良回答說“：雕琢妨害農業生產，錦繡赤色的綬帶會妨害女紅。首先創造奢侈和過分的浪費，國家的危亡就漸漸近了。漆器不禁止，必定用金做它，金器不禁止，必定用玉做它。所以諍臣必定勸諫事情漸發的開端，到它發展到極點，就沒有什么可以再去勸諫的了。”太宗認為對，因此說：“作為人君，不憂慮人民而從事驕奢淫侈的事，危亡的時機可以反掌而待了。”
當時皇子年幼的多擔任都督、刺史，遂良上疏說：“從前兩漢靠郡國治理人民，除郡以外，分立諸子，分割疆土，雜用周朝的制度。皇唐州縣，大略依照秦的法律。皇子幼年，有的授任為刺史，陛下難道不是用王的骨肉，鎮壓護衛四方？這種首創的制度，比以前歷代帝王高明。臣下的愚見，有小的地方處置尚不夠妥帖。為什么呢？刺史郡守，人民仰賴他得到安寧。得到一個好的人做刺史郡守，當地的人民都能休養生息；遇到一個不好的人做刺史郡守，全州的人民都會勞苦疲敝。因此人君愛惜百姓，常為人民選擇賢德的官吏。有的稱贊河潤澤了九里，京都蒙受福恩；有的興起歌詠贊嘆，活著就為他立祠。漢宣帝說：‘與我共同治理國家的，只有賢能二千石。’以臣下愚昧的見解，陛下的兒子當中年歲還幼小不能夠統管人的，暫且留在京都，教給他經學。一則使他畏懼天威，不敢犯禁；二則看見朝廷禮儀，自然成長自立。因此積累知識，自己懂得做人。審察他能夠治理州縣，然后派遣出京。臣謹按史籍，見漢明帝、漢章帝、漢和帝三帝，能友愛子弟，從此以后，其友愛子弟之法便成為后代的榜樣。封立的各王，即使各自擁有國土，年紀還幼小的，召他們留在京都，用禮法訓導他們，用恩惠垂愛他們。到三帝的朝代為止，封的王有數百人，只有二個王稍壞一些，其余的都自覺追求團結，感受教化，都成為善人。那么從前的事實已經驗證，希望陛下詳察。”太宗十分采納他的意見。
當年，太子承乾因罪被廢黜，魏王泰入宮服侍，太宗當面應許立他太子，因此對侍臣說“：昨天青雀自己投入我的懷抱說‘：臣今天才能夠給陛下做兒子，是再生之日。臣只有一個兒子，百年之后，一定為陛下殺他，把王位傳給晉王。’父子的倫理，原應當是天性，我見他這樣，非常垂憐他。”遂良走上前說：“陛下失言，恭請陛下慎重考慮，不要使決策錯誤，哪有陛下百年之后，魏王執掌政權為天下的君王，而能殺死自己的兒子，傳王位給晉王的呢？陛下從前立承乾為太子，而又重新寵愛魏王，禮數有的超過了對承乾的，確實因為嫡庶不分，所以到這個樣子。隋鑒不遠，足可以作為鑒戒。陛下今天既然立魏王為太子，希望陛下另外安置晉王，才能夠安全。”太宗涕淚交流說“：我不能。”當天召長孫無忌、房玄齡與遂良等研究決策，立晉王為皇太子。
那時，經常有飛雉聚集在宮殿里面，太宗問群臣說“：是什么吉祥的兆頭呢？”遂良回答說：“從前秦文公時，有童子變化為雉，雌雉在陳倉鳴叫，雄雉在南陽鳴叫，童子說：‘得到雄雉可以當王，得到雌雉可以成霸。’文公就把它叫作寶雞。后漢光武帝得到雄雉，于是從南陽興起而有天下。陛下原來被封為秦王，因此雄雉出現在秦地，所以這是顯示完美德行的祥兆。”太宗高興地說：“立身的道理，不可以沒有學識，遂良博識，是十分可敬重的。”不久授遂良為太子賓客。
當時薛延陀派遣使者前來求婚，太宗答應把女兒嫁給薛延陀，收納了他的財物聘禮，不久又不給女兒與他成婚。遂良上疏說：
“我聽說誠信是國家的根本，百姓的歸宿，因此文王允許重新掩埋枯骨而不違背道義，仲尼寧可絕食而堅守信義。延陀從前不過是一俟斤(一個屬部首領的官)罷了，遇到神兵北上，掃平了沙塞、狼山、瀚海，萬里蕭條，陛下威力施加在域外而恩德建立在國內，認為余寇來往奔波，必須設立酋長，于是下璽書旗鼓，把延陀立為可汗。他感念陛下恩寵的光澤，對圣上的敬慕沒有窮盡，而其余各地的異族，沒有不聽說知道的，因此共同沐浴和風一起蒙受恩惠信任。不久連年派遣大使，向我大唐國求婚，陛下又降下皇恩，應許與他結為婚姻。于是報告吐蕃，告訴思摩，詔示中國，五尺童子人人都知道這件事。于是陛下到北門，受納了他奉獻的酒食，當時百官端正地執著手板，異族穿著衣襟向左的民族服裝，虔誠恭敬地接受喜樂的酒宴，都承受到美好的聲譽，口歌手舞，歡樂終日。百官聚會結束，也各有議論，都認為陛下想求得百姓的安寧，不想讓邊境交戰，于是不惜把自己的一個女兒嫁給可汗，在于預先顧惜蒼生百姓，所以感念陛下的恩德。現在一旦產生反復的念頭，有了改約悔婚的心思，臣為國家惋惜這美好的聲譽。
“君子不對人心色不一，情不副色，不失信于人。晉文公包圍原地，命軍士各持三天的糧食，三天內原地不投降，命令解圍離開原地。城中的間諜出來說：‘原地準備投降了。’軍吏請求文公等到拔取原地城池再走。文公說：‘信，是國家的珍寶，百姓的依憑。得到原地而失信，還有什么讓百姓依靠寡人？’陛下的考慮出于意料之外，誠信在許婚之前，現在對待事情，忽然背離通常的道理，所吝惜的很少，所失去更多，情理既然不通，就要產生由猜忌而形成的仇怨，一方因此相畏懼和猜忌，邊境不會沒有紛亂，西州、朔方能夠沒有騷擾嗎？那邊異族因為主子被欺辱而懷恨在心，這邊士卒因為沒有誠信而內心慚愧，因此不能教誨邊關的軍隊，不能勉勵軍人的各項事務。陛下憑借圣德神功，肅清四方極遠之處，自從治理天下以來，已經有十七年，以仁德恩義而結交眾多的物類，以誠信道義安撫異族，百姓沒有不愉悅的，深怕沒有盡力報償陛下的恩德。天下的生民，都想報答陛下厚重的恩德；他們所生的后代，也希望報答陛下的子孫。現在能把一個公主嫁給薛延陀可汗，用來成全陛下的誠信，使此事善始善終，都有賴于陛下的圣德呀！
“再說龍沙以北，部落無數，朝廷去攻擊它們，終究不能把它們打盡，只是因為可比失敗了，芮芮又興起，突厥滅亡了，延陀又強盛。因此古人謙虛對待外族而鞏固內部，用仁德信義感化他們。作惡在于異族而不在于中華，失信在于他們而不在于我們。陛下圣德無邊，威靈遠震，于是平定高昌，擊敗吐渾，封立延陀，剪滅頡利。減輕刑罰薄征賦稅，各種事務沒有阻滯，糧食富足便宜，吉祥的符瑞接連到來。這就是堯、舜、禹也不及陛下長久。在下希望陛下對邊疆遠播教化之禮，廣施含育之恩，但常常怪罪極遠的地域，有意疏遠異族，不是休戰興文的辦法，不是止息兵戈為武的行為。臣因為平凡愚昧，愧居陛下身邊，斗膽奉獻這些瞎話，不勝戰栗畏懼。”
當時太宗想親自出征高麗，環顧身邊的侍臣對他們說“：高麗的莫離支這個叛賊殺了高麗王，虐待役使高麗的人民。出師撫慰高麗的人民討伐莫離支，應當趁這個機會，現在因為莫離支反叛親君肆虐百姓，討伐他非常容易。”遂良回答說“：陛下兵機神算，人不能知。從前隋末政治混亂，陛下親手平定敵賊。到北狄侵犯邊疆，西蕃失禮，陛下想命令將領攻打它們，群臣沒有不苦言勸諫的，陛下獨自決斷進軍討伐，結果都被治除平定。境內的人民，域外的國家，害怕神威而恐懼屈服，是因為您的這個舉動。現在陛下準備興師征伐遼東，臣心里迷惑。為什么呢？陛下的神威武勇，不比前代的帝王，軍隊既然渡海伐遼，只期望攻克獲勝，萬一不能取勝，沒有威力向遠方顯示，如果再發動忿怒的兵眾，就安危難測了。”太宗認為他說得很對。兵部尚書李責力說：“近來延陀進犯邊疆，陛下必定想追擊，這時陛下采納魏征的意見，就失去了機會。假若依照陛下圣明的決策，延陀沒有一個人能活著回去，可以確保五十年內疆場沒有戰爭。”太宗說“：確實像你說的這樣，因為魏征而誤大計了。朕不想因一計不當，而指責他，現在既然又有良策，怎么肯再失謀。”因此聽從了李責力的意見，策劃安排渡海伐遼的軍隊。遂良因為太宗專心一意想攻打三韓，恐怕他留下悔恨，第二天上疏勸諫說：
“臣聽說國家譬如身體，兩京等于心腹，四境好比是手足，他方遠地好像是在身體之外，臣近在陛下身邊坐下，伏在地上奉聽陛下口令，說自己想征伐遼東。臣數夜思量這事，不明白這當中的道理。高麗王是陛下所立，莫離支擅自殺他的君主，陛下討伐逆賊收回領地，這確實是機會。關東依靠陛下仁德的恩澤，長期沒有戰爭，只須命令二三名勇將發動四五萬兵士，放飛石用輕梯，攻取它易如反掌。圣人的作為，必須遵循常規，貴在能攻克平定兇暴動亂，駕馭賢才杰士。只有陛下弘揚天地之道，煽動三皇五帝之風，提拔人物，都想盡力效命。從前侯君集、李責力，都是人們所說的庸夫，尚且能掃平萬里的高昌，平定千年的突厥，都是陛下指揮作戰，聲望歸于陛下的圣明。臣廣泛地尋求史籍，到近代為止，作為君主，沒有御駕親征攻伐遼的，人臣去征伐，那是有的。漢朝有荀彘、楊仆，魏代就有毋丘儉、王頎；司馬懿出征時尚為人臣，慕容真是一個超越本分自己稱帝的人的兒子，都為他們的君主長驅高麗，擄掠那里的人民，削平高麗的城壘。陛下立功等同于天地，好的風尚包容了古代往昔，自然應當超越歷代百王，難道止降格等同于上述的六個臣子。陛下從前剪平敵寇逆賊，有很多武臣，年紀未老，還可以任用，不是只有陛下自己可以出使，又有什么征而不勝的。
“剛巧現在太子剛剛封立，年紀確實幼小；自己余下的保衛，陛下是知道的。現在一旦拋棄金城湯池一樣堅固的安全，遠渡遼海之外，臣忽然三思，煩慮愁緒交集。大魚依靠巨海，神龍憑據江河源泉，這是說人君不可以輕易地遠征。況且在長遼左方，或許遇到大雨連綿不斷，大水積聚波浪翻騰，平地淹沒，水深數尺。帶方、玄菟，海途深遠無邊，不是萬乘之尊的帝王適宜行走踐踏的地方。東京、太原，稱為中心地帶，東邊指揮可以造聲勢，西邊指揮足可以摧毀延陀，它對于西京，路途不遠。可以在此節制調度，設置軍事謀劃，綁住莫離支的頭頸，獻進皇家的宗廟。這確實是使國家處于安全的上策，社稷的根本，特此乞求陛下降慈悲之恩，明察垂省臣之所議。”太宗不采納遂良的意見。貞觀十八年(644)，拜遂良為黃門侍郎，參與總攬朝政。
高麗莫離支派遣使者進貢白金，遂良對太宗說：“莫離支虐殺他的君主，他的罪過九族所不容，陛下因此舉兵，準備撫慰高麗百姓征伐莫離支，為遼山人民的君主受辱報仇雪恥。古時候，討伐殺君的叛賊，不受他的賄賂。從前殺君的叛臣宋督送給魯國國君郜鼎，魯桓公接受了郜鼎，把它安放在太廟里，臧哀伯勸諫說‘：國君顯示德行禁止邪惡，而今消滅德行建立邪惡，而在太廟安置叛賊賄賂的器物，百官仿效它，又怎么誅滅叛賊呢？武王攻取商，把九鼎遷到洛邑，義士還有非議他的，何況把顯示邪惡叛亂的賄賂器物安置在太廟，這像什么樣子呢？’《春秋》這部書，百王效法，如果收受背叛君主之人的器物，接納殺君逆賊的朝貢，不認為是過錯，怎么討伐？臣認為莫離支所獻的白金，自然不能接受。”太宗采納這個意見，把進貢的白金交給了使者的屬員。
太宗已經滅了高昌，每年調派一千多人防范控制高昌，遂良上疏說：
“臣聽說古代圣明的君主，必定先治理華夏之后再治理異族夷狄，從事擴大道德教化，不使它遠離衰敗。因此周宣王少征伐，到邊境而止；秦始皇于邊塞窮兵黷武，中國分離。漢武帝依仗文帝、景帝聚集的財物，憑借軍事上的余威，開始與西域交往，開始設置校尉。軍隊接連出征，近三十年。又在宛城得到天馬，在安息采到葡萄。然而境內空虛衰竭，生民百姓流離失所，租稅征到六畜，算計到了車船，因此遇到災年，盜賊并起。搜粟都尉桑弘羊又觀望君主的意思，派士卒在輪臺屯田，筑城來威脅西域。漢武帝很快而徹底地追溯以往而悔悟，感情從中引發，放棄了輪臺的田野，降下文辭凄切悲傷的詔書，人與神都感動得心悅誠服，境內才安樂。假使武帝又采用桑弘羊的意見，天下的生靈都將殄滅殆盡。因此光武年間國家興旺，勢力不越過蔥嶺；孝章即位，西域都護來歸順。
“陛下誅滅高昌，威力施加到西域，收容那里兇惡的人，作為州縣。然而君主的軍隊開始出發的時候，就是河西供役之時，車船飛馳急運糧草，倉庫十室九空，數郡蕭條，五年都不能恢復。陛下每年派遣一千多人到很遠的地方從事耕作防衛，與家人終年離別，萬里思歸。去的人費用行裝，自己必須料理準備，賣完糧食，倒下機杼。路途中的死亡，還在這以外，同時遣送罪人，又須增加對他們的防范控制。那些罪人，生活在從事買賣的集市，整天不務正業，犯禁違法，只會在邊城擾亂，確實對戰陣無益。所遣送的罪人中，又有逃亡，官府捕捉，給國家造成事端。去高昌的路途，沙漠千里，冬季寒風凜冽，夏天炎風如焚，來往的行人，遇到這樣的風大多死去。《易經》說‘：安不忘危，理不忘亂。’假如張掖發生騷亂，酒泉出現戰事，陛下難道能夠得到高昌一人的糧食來應付這些事嗎？最終必須發動隴右各州，像流星奔馳雷電閃擊般迅速地趕來救援。由此而言，這河西比方是處在心腹，那高昌是他人的手足，怎么能夠耗費中華的資財，用來從事沒有用的事？《尚書》說‘：不做無益害有益。’它所說的正是這種情形吧！
“陛下道德反映了天賦，威力不施到域外，在沙塞平定頡利，在西海消滅吐谷渾。突厥殘余的部落，為他們冊立可汗，吐谷渾遺留下來的田民，重新樹立君長。又重建高昌，不是沒有前例，這就是人們所說的有罪就誅滅它，已經歸服就扶立它。四海及域外百族，誰沒有聽到看到，但凡天下生靈，都會畏懼威力仰慕德行。應當選擇高昌可以冊立的人冊立他為可汗，征召首領，送還原來的國家，使他們承受洪恩，長期成為邊境的屏障。中原不受侵擾，既富足又安寧，把這一切傳給子孫，遺留永世。”
貞觀二十年(646)，太宗在寢殿旁邊另外設置一個庭院，讓太子居住，絕不讓他到東宮去。遂良又上疏進諫說：
“臣聽說周代問安，來三次一定退下，漢朝的太子視膳(侍養義母長輩的禮節)，五天才來。從前圣人的做法，規模遠大。禮說：男子十歲出門就讀在教師門下，住宿在外邊，是為他的學業盤算。然而古代的貴人，難道沒有慈心，減此私愛，是想使他成長自立。世俗人尚且還能這樣，何況國君的太子呢？自然應當春天誦讀詩篇，夏天依弦樂和奏而歌唱，親近老師，體察人間的各種事情，適應君臣的道理，即使舉足伸頭遠望，都聽到高雅的音樂聲。好像一年的開始有陽春，青天有日月，弘揚這一美德，才做太子。在下考慮陛下道德孕育三才，功績包容九州，親自樹立太子，天下沒有不感到喜樂自得的。既然說廢黜糊涂的太子冊立英明的太子，必須稱得上是天下仰望的楷模，然而教育他成長的方法，確實十分錯誤。太子不離父母，平常住在宮內，對師傅的說教不痛快，蔑視經書談論的道理。況且朋友不能深入交往，深入交往必定有怨恨；父子不可以溺愛，溺愛或許會產生過失。希望陛下遠看殷、周的做法，接近遵行漢、魏的方法，不可以馬上改變，這事必須一步一步地逐漸改變。試著以十天作為一個階段，一半的時間送回宮中，使太子專心學習技藝來潤澤自己，在天下傳布美好的名聲，那么微臣即使是死了，也可以說是和活著一樣。”
太宗聽從了他的意見。
遂良前后諫奏及陳便宜書數十以上，多被太宗采納。那年，擔任銀青光祿大夫。貞觀二十一年(647)，遂良以本官的身份檢校大理卿，不久為父親居喪期滿。第二年，起用他恢復舊職，接著被拜為中書令。
貞觀二十三年(649)，太宗病危，召遂良及長孫無忌進入他的臥室，對他們說“：你們忠直剛烈，朕都記在心里。從前漢武帝委托霍光，劉備委托諸葛亮，朕的后事一切都委托你們。太子仁義忠孝，是你們全都知道的，必須竭誠盡力輔佐太子，永遠保住宗廟社稷。”又回頭對太子說：“無忌、遂良在，國家的事，你不用擔心了。”于是命遂良草擬詔書。高宗即位后，賜遂良河南縣公的爵位。永徽元年(650)，晉封為郡公，不久因犯事出京任同州刺史。永徽三年(652)，征拜遂良為吏部尚書、同中書門下三品，監修國史，擔任光祿大夫。當月，又兼任太子賓客。永徽四年(653)，代理張行成任尚書右仆射，依舊主持政事。
永徽六年(655)，高宗準備廢黜王皇后，冊立昭儀武氏則天為皇后，召太尉長孫無忌、司空李責力、尚書左仆射于志寧及遂良一起策劃這事。將要進宮時，遂良對無忌等說：“皇上的心意想要廢黜皇后，必定議論這件事，遂良今天想陳述理由勸諫，你們意見怎么樣？”無忌說：“明公必須極力勸諫，無忌請求繼續陳述這個意見。”到他們進宮后，高宗難以開口，再三望著無忌對他說：“最大的罪過之中，絕后是最嚴重的。皇后沒有子息，昭儀有兒子，現在想立昭儀為皇后，你們認為怎么樣？”遂良說：“皇后出自名家，先朝的時候所娶，服侍先帝，婦德沒有過失。先帝沒有猶豫，拉著陛下的手，對臣說過這話：‘我好兒好婦，現在準備托付給你。’陛下親耳聽到先帝的善言，言猶在耳。皇后從此沒有聽說有過失，恐怕不能廢黜。臣今天不敢曲從，上違先帝的命令，特意請陛下再三思考審察。愚臣觸犯了圣上的尊嚴，罪該萬死，只愿不辜負先朝的厚恩，哪里還顧性命。”遂良把上朝時執的手板放到殿前的臺階上，說“：還陛下這個手板。”多次解下頭巾叩頭流血。高宗大怒，命令帶遂良出殿。長孫無忌說“：遂良受先朝遺詔為顧命大臣，有罪不施加刑法。”第二天，高宗對李責力說：“冊立武昭儀的事，遂良固執不肯順從。遂良已經是受先朝遺詔的顧命大臣，事情如果不行，則應當暫且停止。”李責力回答說：“這卻是陛下的家事，不適宜問外人。”高宗這才冊立昭儀為皇后，降任遂良為潭州都督。顯慶二年(657)，轉任桂州都督。沒有多久，又被貶為愛州刺史，第二年，遂良死在任上，終年六十二歲。
遂良死后二年多，許敬宗、李義府奏告說長孫無忌所造成的逆謀，是同遂良一起煽動的，于是追削遂良的官爵，把他的子孫發配流放到愛州。弘道元年(683)二月，高宗遺詔把他們放回本郡。神龍元年(705)，則天遺詔恢復遂良及韓瑗的爵位。