當初，朱元璋見李善長自恃功高，竟毫無不顧及地違反國法，還大肆斂財，就暗示他回家養老，李善長只得稱病歸隱。李善長走後，朱元璋本不打算再立丞相，但爲了安撫功臣集團，他無法立馬這麼做，而是需要徐徐圖之。
有一天，朱元璋將劉伯溫找來，問他李善長之後，誰可以當丞相，楊憲行不行?李善長說，楊憲有做丞相的才能，但沒有做丞相的氣度，不行。朱元璋又問，汪廣陽如何?劉伯溫說，他的氣度比楊憲還小，絕對不可以!朱元璋追問道，那胡惟庸總可以吧?劉伯溫說，丞相好比駕車的馬，我擔心他會將馬車弄翻，言外之意是胡惟庸絕對善類。
聽完劉伯溫的話，朱元璋深以爲然，但他依然先後任用楊憲、汪廣洋和胡惟庸爲相，其中楊憲和汪廣洋先後被殺，最後只剩下個胡惟庸獨攬大權。很多人可能會疑惑，劉伯溫都說這三人不可爲相了，朱元璋爲何還要重用他們?
道理其實很簡單，朱元璋想要徹底廢黜丞相，就先得讓擔任過這一職務的人都搞臭，讓人們意識到丞相這個職務已經不合時宜了，這樣纔可以順勢將其徹底廢黜。
至於胡惟庸，朱元璋其實早就覺察到他的種種劣跡了，但依然大膽對其放權，這其實是一種捧殺的策略。歷史上真實的胡惟庸，是李善長一手提拔起來的，他爲人謹小慎微，但度量比楊憲和汪廣洋還要小，當初劉伯溫對朱元璋說他不可爲相，他因此懷恨在心，一直在尋找機會保護劉伯溫。
洪武四年，劉伯溫決定急流勇退，返回青田老家養老，朱元璋念其功勞，便允許他保留俸祿，每年定期入朝覲見即可。洪武八年元旦，劉伯溫參加大朝會，寫了一首詩來讚揚朱元璋的豐功偉績，朱元璋因此感到十分高興。不久之後，劉伯溫聽說有一夥賊寇發起叛亂，但當地官府充耳不聞，他感到很生氣，便寫了個奏摺，準備向朱元璋報告此事。
當時胡惟庸擔任中書右丞相，代理左丞相事，按照正常程序而言，劉伯溫的奏摺應該先送到中書省，由胡惟庸批閱之後再呈送朱元璋。但是，劉伯溫不喜歡胡惟庸，所以他讓長子劉璉將奏摺送入宮，直接送給了朱元璋，朱元璋很快就處理了這件事，這讓作爲掌管天下諸事的胡惟庸感到十分尷尬。
作爲報復，胡惟庸勾結黨羽陷害劉伯溫，說劉伯溫看中了一塊有王者之氣的土地，準備將這塊地搶過來作爲墓地，但老百姓不肯。
朱元璋也不傻，知道這是胡惟庸在構陷劉伯溫，但他對劉伯溫也心存不滿，所以趁機剝奪了劉伯溫的俸祿，劉伯溫感到非常恐懼，便留在京城不敢回老家。
沒過多久，胡惟庸就升任左丞相了，成爲百官之首，劉伯溫得知此事後，不無感慨地對兒子們說，如果我的預言不應驗的話(是指他對朱元璋說胡惟庸不可爲相這件事)，那就是蒼生之福了!
會茗洋逃軍反，吏匿不以聞。基令長子璉奏其事，不先白中書省。胡惟庸方以左丞掌省事，挾前憾，使吏訐基，謂談洋地有王氣，基圖爲墓，民弗與，則請立巡檢逐民。帝雖不罪基，然頗爲所動，遂奪基祿。基懼入謝，乃留京，不敢歸。未幾，惟庸相，基大慼曰：“使吾言不驗，蒼生福也。”憂憤疾作。
到了正月下旬，劉伯溫由於本來就有病，再加上他內心憂懼，最後竟然一病不起了。
朱元璋得知此事後，就派遣胡惟庸帶着御醫去給劉伯溫看病。
不得不說，朱元璋的這個做法暗藏深機，因爲他明知道劉伯溫和胡惟庸關係不好，卻還要讓胡惟庸去看望劉伯溫，這不出事纔怪。
果不其然，胡惟庸讓御醫給劉伯溫開了藥方，劉伯溫讓家人按方抓藥，但喝完藥後腹痛得厲害，肚子裏就像是有很多石塊在相互擠壓一樣。
到了二月，劉伯溫的疼痛感依然沒有減輕，他這才意識到肯定是胡惟庸做了手腳，便抱病入宮覲見朱元璋，很委婉地表示胡惟庸在藥中做了手腳，還詳細描述了他喝完藥後種種不適的情形。
但讓劉伯溫心寒的是，朱元璋顯得毫不在乎，只是輕描淡寫說了幾句要他在家安心休養之類的話，他自知多說無益，便離開皇宮返回家中。
到了三月下旬，劉伯溫的病情越發沉重，已經完全無法下地了，他自知時日無多，便上書請求返回老家休養，朱元璋表示同意，還派人護送他回家。回家之後，劉伯溫心有餘悸，他擔心胡惟庸買通身邊人繼續殘害他，於是拒絕了所有人送給他的藥，只是吃兒子們給他準備的食物，但飯量非常小。
在家住了沒幾天，劉伯溫就感覺不妙了，便將兩個兒子叫到身邊交代後事，他讓大兒子劉璉從書房拿出一本書，並對他說，我死之後，你一定要第一時間將這本書送到京城交給皇上，千萬不要耽誤;從此以後，不要再讓子孫們學習這門學問了!
說完這話，劉伯溫頓了一下，又對劉璉說，我讓你把這本書交給皇上，是爲了打消他對你兄弟二人的猜忌，但皇上太多疑了，這麼做未必會起作用，還是將其燒燬吧，也可保劉氏滿門安寧。那麼，劉伯溫讓兒子燒燬的，究竟是一本啥書呢?
這本書的名字叫做《百戰奇謀》，是劉伯溫一生智慧的結晶，包含了軍事，政治和天文地理等各方面的經驗總結，朱元璋一直想得到這本書，但劉伯溫硬是沒拿出來，這也是朱元璋猜忌他的重要原因之一。
劉伯溫之所以不讓子孫學習這門學問，是因爲他知道兩個兒子智慧不足，無法學習到其中精髓;更爲重要的是，即使兩個兒子有足夠的智慧，也學習到了書中精髓，但並沒有施展的空間，反而會因此遭受朱元璋的猜忌，給家族帶來滅頂之災，倒不如不學，做一個安穩度日的平凡人，也未嘗不是件好事。
劉伯溫要劉璉燒掉這本書，當時他滿口答應，但並未馬上實施，至於他究竟是怎麼處理這本書的，我後面會說到。
在對劉璉交代完後事之後，劉伯溫又對另一個兒子劉璟說，我給皇上的遺言都在這封信中，向皇上貢獻我最後的心意與所學，但胡惟庸把持中書省，現在還沒辦法送給皇上，等胡惟庸敗亡之後，皇上如果想起我，向你們詢問起我的臨終遺言，你們再密奏給他吧。
說完這些話，劉伯溫就昏迷不醒了，不久後去世，享年六十五歲。劉伯溫去世的消息傳到南京後，朱元璋感到很傷心，派胡惟庸前去弔唁，其目的之一就是尋找《百戰奇謀》這本書。胡惟庸來到青田後，劉璉、劉璟兄弟卻說書已經被燒燬了，胡惟庸不肯罷休，兄弟二人擔心遭到迫害，只得將劉伯溫另一著作《郁離子》和寫有遺言的信件交給胡惟庸，胡惟庸這纔回去覆命。
朱元璋看到劉伯溫的遺物後，覺得只記載了寓言故事的《郁離子》毫無用處，便隨手丟在一邊了，只打開了信件查看，劉伯溫在信中有一段話大致是這麼說的：
《百戰奇謀》是打天下用的，現在用不着了，爲了防止其落入奸人之手，所以臣將其燒燬了;至於那本《郁離子》，則是臣的手稿，留給你作紀念。
由於沒有得到《百戰奇謀》，朱元璋常常爲此感到不安，但他不知道的是，在那本《郁離子》中，有一些頁面是有夾層的，每一頁書裏都夾着一頁紙，合起來就是完整的《百戰奇謀》!
爲何會這樣呢?
根據學者推測，劉璉或許並不認同劉伯溫的觀點，而是認爲將《百戰奇謀》交給朱元璋纔是上上策，爲了掩人耳目，他便將此書暗藏在《郁離子》之中，後來胡惟庸前來索取此書，他心生一計，將《郁離子》交給他，希望藉此機會將此書送入皇宮，也算是爲自己留個後手吧。
可沒成想，朱元璋跟胡惟庸一樣，都沒有仔細查看《郁離子》，這本書就因此被放到皇宮的庫房之中了，一直到李自成入北京之後，偶然間得到這本書，他仔細查看之後發現了一些端倪，最終得到了《百戰奇謀》這本書，只不過他也沒能學得精髓罷了。
據說，朱元璋沒有得到《百戰奇謀》，幾個月都睡不好覺，有一天他心生一計，以給劉伯溫修建府邸和墳墓爲由，讓胡惟庸對劉家進行大搜查，但結果依然是一無所獲，由此他開始逐漸相信《百戰奇謀》確實被燒燬了。再說說劉璉、劉璟兄弟的結局。
劉伯溫去世後，朱元璋並未下旨讓他們繼承誠意伯爵位，這或許跟他對劉伯溫的忌憚和怨恨有很大關係。
不過，對於劉伯溫的長子劉璉，朱元璋還是十分欣賞的，曾任命其爲考功監丞，試監察御史，後來又任命他爲江西參政，他在任上幹得非常不錯，曾對胡惟庸說，準備調其回京予以重用。
但是，就在朱元璋下旨之前，胡惟庸因爲擔心劉璉得勢之後爲父復仇，便讓黨羽去脅迫劉璉，被迫無奈之下，劉璉只得投井而死，時年三十二歲，留有幾個兒子，其中長子名叫劉廌。
出爲江西布政司右參政，爲胡惟庸黨所脅，墮井死。
劉璉去世後，朱元璋又重用劉璟，讓其跟隨唐勝宗平亂，他表現非常好，朱元璋曾高興地表揚他說，真伯溫之子也。
洪武二十三年，朱元璋開始收網，一舉將有謀反跡象的胡惟庸及其黨羽拿下，並就此廢黜丞相職務。
胡惟庸死後，朱元璋可憐劉伯溫、劉璉父子二人被胡惟庸殺死，便下令劉璟繼承誠意伯爵位，但劉璟主動上書將爵位讓給侄子劉廌，朱元璋同意，但依然封他爲閤門使，並賞賜他“除奸敵佞”鐵卷，持此鐵卷可以糾正百官。
靖難之役中，建文帝覺得劉璟頗懂軍事，便讓其跟隨大將軍李景隆出征，但李景隆就是紙上談兵之人，根本沒有實戰經驗，而且爲人剛愎自用，竟然不聽從劉璟的建議，結果招致大敗。
李景隆失敗後，劉璟又入京進諫天子，上奏《聞見錄》，洋洋灑灑數萬言陳述了他關於軍事方面的建議，但建文帝並未採納，他由此認爲建文帝必敗無疑，於是歸隱田園，不再過問朝政。
朱棣繼位之後，聽說劉璟很有才能，便派人召他入京任職，但他以忠臣不事二主爲由拒絕，朱棣因此惱羞成怒，派人將他抓到京城，他見到朱棣的時候不呼萬歲，而是以殿下相稱(王爺稱殿下)，並對朱棣說，百年之後，你恐怕難逃篡位罵名。
朱棣見劉璟並不折服，便將其投入大牢，劉璟不堪受辱，便自縊而死，死時五十二歲。
令參李景隆軍事。景隆敗，璟夜渡盧溝河，冰裂馬陷，冒雪行三十里。子貊自大同赴難，遇之良鄉，與俱歸。上《聞見錄》，不省，遂歸裏。成祖即位，召璟，稱疾不至。逮入京，猶稱殿下。且雲：“殿下百世後，逃不得一‘篡’字。”下獄，自經死。就這樣，劉伯溫的兒子都死絕了，但他的後代並未就此退出歷史舞臺。關於劉伯溫的孫輩，歷史上僅僅記載了劉廌一人，但可以肯定他還有其他孫子，只不過沒有留下名字和事蹟而已。
劉廌繼承誠意伯爵位後，又被封爲特進光祿大夫，正一品，但他深知官場險惡，因此無心仕途，便辭官迴歸故里，居住在盤古(現溫州市文成縣南田鎮新宅長壽村)，致力於整理祖父劉伯溫的文集。
朱元璋本來是好意，劉廌卻學習劉伯溫清高，因此很不開心，便找了個罪名將其貶黜到甘肅戍邊，還罷黜了他的爵位，直到朱元璋去世後才獲得建文帝赦免。
建文帝和朱棣時期，都曾派人召劉廌入朝爲官，但他都以奉親守墓爲由拒絕，只是在老家潛心修學，縱情山水，日子過得倒也有滋有味，五十二歲的時候去世。自劉廌之後，誠意伯的世襲就斷了，直到嘉靖時期，嘉靖帝念及劉伯溫的功勞，便找到劉廌的六世孫劉瑜，讓他承襲了誠意伯爵位，並頒給世襲鐵卷，他就是第三代誠意伯。
劉瑜去世後，孫子劉世延承襲爵位，掌右軍都督府事，參與鎮撫南京振武營兵變，這是在嘉靖末期，由於他辦事不力，被削去了爵位，但隆慶帝繼位後，又恢復了他的爵位。萬曆三十四年，不知道劉世延犯了什麼罪，竟然被萬曆帝給處死了，他的孫子劉藎臣繼承了爵位，但劉藎臣只在位十幾年就去世了，其子劉孔昭承襲爵位，時間是天啓三年。
從第一代誠意伯劉伯溫到劉孔昭，一共傳襲了六代，但自劉孔昭之後，誠意伯的世襲情況就不得而知了，只知道南明時期，劉孔昭被追封爲誠意侯，如此看來，他或許就是最後一代誠意伯。總的來說，由於劉伯溫才能太高，所以遭到了朱元璋的猜忌，這間接促使他及兒子劉璉遭到了胡惟庸的殘害;劉伯溫的另一個兒子劉璟結局也不好，但他的忠誠讓人感動，沒有辱沒劉伯溫的名聲。
劉伯溫的子孫總體上過得還不錯，都因爲他而受益，據說其子孫繁衍昌盛，現如今江浙及陝西等地都有其後裔。
