祖逖原本出身于西晉末年的北方大族，后來家道中落。在當時的亂世之中，祖逖帶了幾百鄉親來到淮河流域一帶。在逃難的過程中，祖逖主動把自己的車馬讓給老弱有病的人，把自己的糧食、衣服也分給大家。鄉親們都十分敬重他。

　　不久，逃難的人群來到了泗口(今江蘇靖江北)。這時，祖逖手下已經聚集了一批壯士。他們都是背井離鄉的人。大家眼看著自己的家園被外族侵占，都很憤恨，見祖逖是一個胸懷大志的人，就推選祖逖做了首領，希望祖逖帶領他們早日打回家鄉去。

　　當時，司馬睿還沒有即位做皇帝，祖逖曾勸說他領兵收復失地，司馬睿當時并沒有收復中原的打算，但聽祖逖說得慷慨激昂，也不好推辭，就勉強答應了祖逖的請求，并派他做豫州(今河南東部和安徽北部)刺史，撥給他一千個人吃的糧食和三千匹布，但不給他戰衣和兵器，還讓他自己想辦法集結士兵。

　　祖逖帶著隨同他一起來的幾百鄉親，組成一支隊伍，橫渡長江。船到江心的時候，祖逖拿著船槳，在船舷邊拍打，向大家發誓說：“我祖逖如果不能掃平占領中原的敵人，絕不再過這條大江!”他激昂的聲調和豪壯的氣概，使隨行的壯士個個感動，人人激奮。

　　到了淮陰，祖逖停了下來，一面制造兵器，一面招兵買馬，等到聚集了兩千多人馬后，才向北進發。當時，長江以北的不少豪強地主，趁中原大亂的機會，占據堡塢，互相爭奪。祖逖說服他們停止內爭，隨他一起北伐，祖逖的威望越來越高。

　　祖逖的軍隊一路上得到人民的支持，迅速收復了許多失地。后來，祖逖收復了黃河以南的大部分領土，許多敵軍也陸續向祖逖投降。晉元帝即位后，覺得祖逖功勞太大，于是封他為鎮西將軍以節制其權力。