祖逖原本出身于西晉末年的北方大族，后來(lái)家道中落。在當(dāng)時(shí)的亂世之中，祖逖帶了幾百鄉(xiāng)親來(lái)到淮河流域一帶。在逃難的過(guò)程中，祖逖主動(dòng)把自己的車馬讓給老弱有病的人，把自己的糧食、衣服也分給大家。鄉(xiāng)親們都十分敬重他。

　　不久，逃難的人群來(lái)到了泗口(今江蘇靖江北)。這時(shí)，祖逖手下已經(jīng)聚集了一批壯士。他們都是背井離鄉(xiāng)的人。大家眼看著自己的家園被外族侵占，都很憤恨，見(jiàn)祖逖是一個(gè)胸懷大志的人，就推選祖逖做了首領(lǐng)，希望祖逖帶領(lǐng)他們?cè)缛沾蚧丶亦l(xiāng)去。

　　當(dāng)時(shí)，司馬睿還沒(méi)有即位做皇帝，祖逖曾勸說(shuō)他領(lǐng)兵收復(fù)失地，司馬睿當(dāng)時(shí)并沒(méi)有收復(fù)中原的打算，但聽(tīng)祖逖說(shuō)得慷慨激昂，也不好推辭，就勉強(qiáng)答應(yīng)了祖逖的請(qǐng)求，并派他做豫州(今河南東部和安徽北部)刺史，撥給他一千個(gè)人吃的糧食和三千匹布，但不給他戰(zhàn)衣和兵器，還讓他自己想辦法集結(jié)士兵。

　　祖逖帶著隨同他一起來(lái)的幾百鄉(xiāng)親，組成一支隊(duì)伍，橫渡長(zhǎng)江。船到江心的時(shí)候，祖逖拿著船槳，在船舷邊拍打，向大家發(fā)誓說(shuō)：“我祖逖如果不能掃平占領(lǐng)中原的敵人，絕不再過(guò)這條大江!”他激昂的聲調(diào)和豪壯的氣概，使隨行的壯士個(gè)個(gè)感動(dòng)，人人激奮。

　　到了淮陰，祖逖停了下來(lái)，一面制造兵器，一面招兵買馬，等到聚集了兩千多人馬后，才向北進(jìn)發(fā)。當(dāng)時(shí)，長(zhǎng)江以北的不少豪強(qiáng)地主，趁中原大亂的機(jī)會(huì)，占據(jù)堡塢，互相爭(zhēng)奪。祖逖說(shuō)服他們停止內(nèi)爭(zhēng)，隨他一起北伐，祖逖的威望越來(lái)越高。

　　祖逖的軍隊(duì)一路上得到人民的支持，迅速收復(fù)了許多失地。后來(lái)，祖逖收復(fù)了黃河以南的大部分領(lǐng)土，許多敵軍也陸續(xù)向祖逖投降。晉元帝即位后，覺(jué)得祖逖功勞太大，于是封他為鎮(zhèn)西將軍以節(jié)制其權(quán)力。