朱元璋與劉邦都起於微末，天然的疑心病重，對待臣下苛刻一些，李世民這種貴族出身的，沒有自卑感，對待臣下也較爲寬容。李善長玩頭腦，但是臣永遠不是君對手，君永遠既可入局，更可隨入隱入幕後，透視全局，體系性優質打工仔永不是老闆對手!
李善長的第一次退隱實在洪武四年他患病的時候，畢竟現在已經五十多歲了是真的病了，他想退隱，朱元璋同意了，他原本的職務是左丞相，之後被胡惟庸代替了。等李善長漸漸的把病養好了之後，又沒有什麼事情可以做了，朱元璋知道後正好有任務，便安排他去監造宮殿和督查屯田。
第二次復出是因爲李善長的兒子李祺還在朝，皇帝有深層長遠謀劃以其爲餌，把自己的女兒嫁給了李祺，這可是朱家的第一次嫁公主，李祺也成了大明的第一個駙馬，大婚的各種禮儀十分莊重，讓李家父子感覺都有點飄飄然。接下來的一段時間，朱元璋病了好幾天，但是李善長卻裝作不知道，連問都不問，李祺乾脆還不去上朝了，這引起朝中一些有心人的注意，於是一張奏摺把他們告了，父子倆這才意識到最近確是做的有些過了，還好朱元璋沒有怪罪他們。
李善長雖然沒有官職，但是還有韓國公的身份，第二年又閒不住了，另一方面也是朱元璋對他的信任，他又去主持軍國大事，當然是跟曹國公，兩人商議並且掣肘。朱元璋親自培養的重要接班人朱標被放手處理國事，但是怕他有什麼重大失誤，就讓他們再幫助朱標一起決斷，李善長又身處權利中心，所以牽扯到了胡惟庸案。胡惟庸被塗節告發謀反，還牽扯到陳寧、李善長等人。塗節指出來，胡惟庸曾經讓李善長的弟弟去勸說李善長跟着他一起謀反，但是不被答應，胡惟庸只好親自登門拜訪，李善長不僅沒告發，還讓他進門商議，兩人商量了好久纔出門。但是根據塗節的供詞，這一段並不是很詳細，證據也沒有，所以朱元璋並沒有處罰他，而其他的胡惟庸、陳寧等以及塗節都被處死了。
經過了此次大案，李善長有了更多的謹慎之心，正好朱元璋又反省了那麼一件事，他否定了丞相制度，連帶着中書省也否定了，李善長曾經出任過丞相，最近這些年又雖然名分上不是丞相了，但是還一直擔任着丞相的責任，又想到了胡惟庸的下場，面對着其他人的指責，李善長再次決定隱退了，這次的理由是年紀大了，但是君臣二人確是心知肚明。
但是才過了兩個月又有變故發生，原來是安然被革職了，這下子御史臺沒有了主心骨，朱元璋又想到了李善長，這已經是第三次了。御史臺是缺他不可嗎，還是朱元璋注重人才，或者是相互利用，李善長要是真的想退怎麼又會三次復出呢，不放人走無非對方在特定立場角度，真讓對方離開了，個人安身立命根基會地動山搖。
李善長已經七十七行將就木而且已經卸任左丞相多年，已經不可能對皇權造成什麼威脅了。之所以揹負殺害功臣之名也要殺李善長，個人覺主要目的應該是向天下昭示廢除宰相制的決心。另一方面他退隱了在朝中還是很有勢力的，李善長本人也很有能力，朱元璋怕他造反，萬一自己早他過世，對權力是很有威脅的，砍了他是最安全的辦法。
