張九齡當宰相的時候，盡心盡力輔佐唐玄宗，以正直著稱。然而，有兩件事使玄宗對張九齡不能容忍，再加上李林甫的挑撥，玄宗最終罷免了張九齡的宰相職務，并貶出朝廷。

　　這就是牛仙客事件和嚴挺之事件。

　　牛仙客擔任河西節度使時，政績顯著。玄宗很賞識，想給牛仙客加官為尚書。張九齡不同意，他說：“尚書是古代負責向皇帝提建議的大臣，牛仙客出身河湟小吏，一下子提拔為朝廷要職，會影響朝廷的聲譽。”玄宗又問：“只給牛仙客加個爵位可以嗎？”張九齡仍然反對，說：“爵位是對立功者的鼓勵，作為邊將使倉庫充實，器械修整，都是分內事，不算立功。如果陛下認為他工作勤勞，可以賞賜金帛，而分封土地，賜給爵位，極不合適。”玄宗心里十分不舒服。李林甫跟玄宗說：“牛仙客有宰相之才，給他個尚書稱號有何不可！張九齡所說全是書生之見。”玄宗覺得李林甫說得對。

　　第二天，玄宗又提起封牛仙客爵位，張九齡仍然極力反對。玄宗說：“你嫌牛仙客出身寒微，你的門第也不高啊！”張九齡說：“我家在嶺南，出身低賤。但是我出入朝廷，職掌誥命已經多年。牛仙客出身邊境小吏，大字不識，如果一下子提拔為高官，眾人會輕視朝廷。”李林甫又跟玄宗說：“只要有才能見識，要什么學問才華！天子用人，什么樣的人不能用！”有了李林甫的贊同，玄宗不顧張九齡的反對，賜給牛仙客隴西縣公的爵位。

　　張九齡與嚴挺之關系好，想舉薦嚴挺之為宰相，曾經告訴嚴挺之，跟李林甫搞好關系。嚴挺之為人清高任性，從不到李林甫門上去。這些都使李林甫懷恨在心。

　　嚴挺之前妻嫁蔚州刺史王元琰，王元琰犯了貪污罪，朝廷交刑部、御史臺和大理寺會審。嚴挺之看在前妻的情分上，為王元琰托人說情，希望能寬大處理。李林甫抓住了把柄，讓手下的人告發此事。

　　玄宗覺得既然嚴挺之為王元琰說情是事實，那么張九齡明顯是袒護嚴挺之。考慮到張九齡、裴耀卿和嚴挺之常常互相聲援，認定他們結成了朋黨。開元二十四年（736年）十一月，玄宗罷免了裴耀卿和張九齡的宰相職位。張九齡曾推薦周子諒任監察御史。張九齡罷相后，周子諒彈劾牛仙客不勝任宰相，但理由荒唐。玄宗親自審問，把他流放。張九齡也因用人不當而受到牽連。于是，張九齡被貶為荊州大都督府長史，他的政治生命基本結束。