唐玄宗時擔任宰相的人，張九齡以正直著稱。然而，有兩件事使玄宗對張九齡不能容忍，再加上李林甫的挑撥，玄宗最終罷免了張九齡的宰相職務，並貶出朝廷。這就是牛仙客事件和嚴挺之事件。
網絡配圖
牛仙客擔任河西節度使時，政績顯著。玄宗很賞識，想給牛仙客加官爲尚書。張九齡不同意，他說：“尚書是古代負責向皇帝提建議的大臣，牛仙客出身河湟小吏，一下子提拔爲朝廷要職，會影響朝廷的聲譽。”玄宗又問：“只給牛仙客加個爵位可以嗎?”張九齡仍然反對，說：“爵位是對立功者的鼓勵，作爲邊將使倉庫充實，器械修整，都是分內事，不算立功。如果陛下認爲他工作勤勞，可以賞賜金帛，而分封土地，賜給爵位，極不合適。”玄宗心裏十分不舒服。李林甫跟玄宗說：“牛仙客有宰相之才，給他個尚書稱號有何不可!張九齡所說全是書生之見。”玄宗覺得李林甫說得對。
第二天，玄宗又提起封牛仙客爵位，張九齡仍然極力反對。玄宗說：“你嫌牛仙客出身寒微，你的門第也不高啊!”張九齡說：“我家在嶺南，出身低賤。但是我出入朝廷，職掌誥命已經多年。牛仙客出身邊境小吏，大字不識，如果一下子提拔爲高官，衆人會輕視朝廷。”
網絡配圖
李林甫又跟玄宗說：“只要有才能見識，要什麼學問才華!天子用人，什麼樣的人不能用!”有了李林甫的贊同，玄宗不顧張九齡的反對，賜給牛仙客隴西縣公的爵位。
張九齡與嚴挺之關係好，想舉薦嚴挺之爲宰相，曾經告訴嚴挺之，跟李林甫搞好關係。嚴挺之爲人清高任性，從不到李林甫門上去。這些都使李林甫懷恨在心。
嚴挺之前妻嫁蔚州刺史王元琰，王元琰犯了貪污罪，朝廷交刑部、御史臺和大理寺會審。嚴挺之看在前妻的情分上，爲王元琰託人說情，希望能寬大處理。李林甫抓住了把柄，讓手下的人告發此事。
網絡配圖
玄宗覺得既然嚴挺之爲王元琰說情是事實，那麼張九齡明顯是袒護嚴挺之。考慮到張九齡、裴耀卿和嚴挺之常常互相聲援，認定他們結成了朋黨。開元二十四年(736年)十一月，玄宗罷免了裴耀卿和張九齡的宰相職位。張九齡曾推薦周子諒任監察御史。張九齡罷相後，周子諒彈劾牛仙客不勝任宰相，但理由荒唐。玄宗親自審問，把他流放。張九齡也因用人不當而受到牽連。於是，張九齡被貶爲荊州大都督府長史，他的政治生命基本結束。
