崔祐甫早年考中進士，授爲壽安縣尉。他生性剛直，遇事不肯回頭，歷任起居舍人、吏部司勳員外郎、御史中丞、永平軍行軍司馬、中書舍人。
交惡常袞
大曆十三年(778年)，中書侍郎之職出缺。崔祐甫以舍人之職處理中書省事務，多次與宰相常袞發生爭執，而且不肯妥協。常袞大怒，奏請皇帝，改讓崔祐甫主持吏部銓選。崔祐甫擬定的官員人選，大都被常袞駁回，二人由此交惡。
後來，隴右節度使朱泚軍中發生貓鼠同乳之事，向朝廷奏稱祥瑞，常袞便率羣臣慶賀。而崔祐甫卻認爲：“養貓是要它捕食老鼠，爲人除害。今貓不捕鼠反而哺乳老鼠，是失其本性，不能守職，就如同官吏不懲處違法之人，邊將不抵抗入侵之敵。我認爲應當派人巡察地方貪官污吏，告誡邊防守將嚴加防範，則可以消除這種怪異現象。”唐代宗表示贊同，常袞由此更加厭惡崔祐甫。
議禮遭貶
大曆十四年(779年)，唐代宗駕崩。唐德宗繼位，並在西宮爲代宗發喪。按照禮制，羣臣臨喪，應早晚各哭十五聲。但常袞思及代宗恩遇，涕泗橫流，哀慟不已，逾越禮制。羣臣對此都極爲不悅。
不久，常袞與禮官商議羣臣喪期，認爲代宗雖有“天下吏人，三日釋服”的遺詔，但仍應遵循玄宗時的禮制，服喪二十七日。崔祐甫表示反對，認爲遺詔中並未提及官員與百姓的區別，官員應遵循遺詔，服喪三日，而皇帝則服喪二十七日。常袞道：“禮制並非天地生成，只是人情而已。百官承受皇帝恩寵，服喪之時卻與百姓一樣，你安心嗎?”崔祐甫反問道：“那你又置先帝遺詔於何地?詔旨都可改動，還有什麼不能改動呢?”二人爲此爭執不下。
常袞進殿哭靈時，從吏曾在旁攙扶。崔祐甫指着他對百官道：“臣下在皇帝面前哀悼，有攙扶的禮節嗎?”常袞怒不可遏，便彈劾崔祐甫，認爲他隨意改變儀禮，輕議國家典制，請求將其貶爲潮州刺史。唐德宗認爲處分過重，改貶崔祐甫爲河南少尹。
擔任宰相
此前，政事繁多，宰相便輪流處理日常事務。如有宰相輪休，若非重要詔令，不需一一告知，值班宰相可代其署名，並從此逐漸形成慣例。常袞貶黜崔祐甫，因同列宰相的郭子儀、朱泚從不參預朝政，便未徵詢他們的意見，而是依照慣例，代替二人在詔書上署名。
貶官詔書發出後，郭子儀、朱泚都表示崔祐甫不應被貶，唐德宗這才知道二人並不知情。他不知這是朝廷慣例，便認爲常袞欺君罔上，將其貶爲河南少尹，並授崔祐甫爲門下侍郞、同平章事，讓他們對調官職。崔祐甫剛剛行至昭應縣，便被召回朝中，又改任中書侍郎，並修國史。當時，唐德宗正在服喪，將政務全部託付給崔祐甫，對他的進言無有不允。
同年十二月，崔祐甫患病。唐德宗讓他乘坐肩輿進入中書省，躺着接受詔令。崔祐甫在家休假時，如若發生大事，唐德宗也會派宦官到他家中諮詢，請他做出決斷。
病重去世
建中元年(780年)，崔祐甫病逝，時年六十歲。唐德宗認爲崔祐甫忠貞正直，有重臣的節操，追贈他爲太傅，賜諡文貞，而此前從未有過門下侍郎被追贈三師的先例。
主要成就
唐肅宗年間，天下戰亂，朝廷官制混亂。代宗繼位後，戰亂雖然平息，但宰相元載專權，大肆賣官鬻爵，不送賄賂不能封官，以致綱紀敗壞。元載之後，常袞主掌政務，對於薦舉的官員一概不用，只有考中科舉方可任官。崔祐甫拜相後，一改之前的任官之法，選拔官員注重才能優劣，只要是人才便加以任用，不到一年便任命官員近八百人。
任人唯親
唐德宗曾對崔祐甫道：“很多人都說你選用的官員多是親朋故舊，這是爲何?”崔祐甫答道：“選用官員必須熟知其才能和品行，若不與其相識，如何能知道他的真實情況。”唐德宗深以爲然。
計奪兵權
神策軍使王駕鶴掌握禁軍十餘年，權傾內外。唐德宗繼位後，想免去王駕鶴的兵權，但又怕他發動叛亂。崔祐甫便召王駕鶴談話，故意拖延時間，而接替王駕鶴的白志貞這時早已到軍中上任了。
藩鎮慚服
淄青節度使李正己曾上奏朝廷，表示要獻錢三十萬緡，以此試探皇帝。唐德宗知道李正己並非出於真心，因此沒有答覆。崔祐甫道：“陛下不如遣使慰勞淄青軍，將他要進獻的錢財轉賜將士。李正己如若照辦，士卒必感激皇帝之恩;如果他不照辦，則會自招怨恨，引起部下不滿。而且這樣做也能讓各處藩鎮知道朝廷不看重錢財。”唐德宗同意了他的建議，而李正己則慚服不已。
