劉四爺沒有說出去，但是駱駝的事情卻從海甸傳了出來。廠子里的人都認為祥子撞了好運氣，還夸張的說他賣了三百塊錢。祥子很生氣，他想起了自己的車，工友后來雖知道祥子的車沒了，但是并不為他發愁，只是感嘆他幸運。漸漸地，人們把這件事忘得差不多了，祥子也不提這件事，但是他心里卻想著，還想著要再買一輛車。

　　祥子從早拉到晚，一刻都不停下來，他認為只有拼命的拉扯才能早點買上車，所以他也不聽虎妞對自己好心好意的勸告。祥子不想拉散車了，便到了一個楊家大宅子里專門拉車。祥子早晨要一大早起來，送大太太買菜，回來送少爺小姐上學，回來再送先生去衙門，再送太太拜訪朋友。祥子一天都不能停歇。大太太、二太太向來不和，但是她們都不希望傭人停下來，只有用他們把他們活活累死才對得起付的錢。所以她們會讓祥子做一些拉車以外的活，只有晚上祥子才能歇下來。

　　楊家的太太愛打麻將，一高興了就會給下人幾毛錢。但是他們只給祥子一毛，讓祥子送客人回去，在客人面前很客氣，很大方，卻對下人很苛刻。

　　楊家的所有人都喜歡罵人，祥子在楊家呆了四天就呆不下去了，他覺得大街上人們的叫喊聲都比楊家院子里的罵人聲要好聽。祥子要了四天的工錢，離開了楊家。