張九齡當(dāng)宰相的時候，盡心盡力輔佐唐玄宗，以正直著稱。然而，有兩件事使玄宗對張九齡不能容忍，再加上李林甫的挑撥，玄宗最終罷免了張九齡的宰相職務(wù)，并貶出朝廷。

　　這就是牛仙客事件和嚴(yán)挺之事件。

　　牛仙客擔(dān)任河西節(jié)度使時，政績顯著。玄宗很賞識，想給牛仙客加官為尚書。張九齡不同意，他說：“尚書是古代負(fù)責(zé)向皇帝提建議的大臣，牛仙客出身河湟小吏，一下子提拔為朝廷要職，會影響朝廷的聲譽。”玄宗又問：“只給牛仙客加個爵位可以嗎？”張九齡仍然反對，說：“爵位是對立功者的鼓勵，作為邊將使倉庫充實，器械修整，都是分內(nèi)事，不算立功。如果陛下認(rèn)為他工作勤勞，可以賞賜金帛，而分封土地，賜給爵位，極不合適。”玄宗心里十分不舒服。李林甫跟玄宗說：“牛仙客有宰相之才，給他個尚書稱號有何不可！張九齡所說全是書生之見。”玄宗覺得李林甫說得對。

　　第二天，玄宗又提起封牛仙客爵位，張九齡仍然極力反對。玄宗說：“你嫌牛仙客出身寒微，你的門第也不高啊！”張九齡說：“我家在嶺南，出身低賤。但是我出入朝廷，職掌誥命已經(jīng)多年。牛仙客出身邊境小吏，大字不識，如果一下子提拔為高官，眾人會輕視朝廷。”李林甫又跟玄宗說：“只要有才能見識，要什么學(xué)問才華！天子用人，什么樣的人不能用！”有了李林甫的贊同，玄宗不顧張九齡的反對，賜給牛仙客隴西縣公的爵位。

　　張九齡與嚴(yán)挺之關(guān)系好，想舉薦嚴(yán)挺之為宰相，曾經(jīng)告訴嚴(yán)挺之，跟李林甫搞好關(guān)系。嚴(yán)挺之為人清高任性，從不到李林甫門上去。這些都使李林甫懷恨在心。

　　嚴(yán)挺之前妻嫁蔚州刺史王元琰，王元琰犯了貪污罪，朝廷交刑部、御史臺和大理寺會審。嚴(yán)挺之看在前妻的情分上，為王元琰托人說情，希望能寬大處理。李林甫抓住了把柄，讓手下的人告發(fā)此事。

　　玄宗覺得既然嚴(yán)挺之為王元琰說情是事實，那么張九齡明顯是袒護(hù)嚴(yán)挺之。考慮到張九齡、裴耀卿和嚴(yán)挺之常常互相聲援，認(rèn)定他們結(jié)成了朋黨。開元二十四年（736年）十一月，玄宗罷免了裴耀卿和張九齡的宰相職位。張九齡曾推薦周子諒任監(jiān)察御史。張九齡罷相后，周子諒彈劾牛仙客不勝任宰相，但理由荒唐。玄宗親自審問，把他流放。張九齡也因用人不當(dāng)而受到牽連。于是，張九齡被貶為荊州大都督府長史，他的政治生命基本結(jié)束。