公元三一一年，匈奴貴族劉曜率軍攻陷了晉朝的都城洛陽（今屬河南），晉懷帝倉皇出逃。結果，半路被劉曜的騎兵抓住，當了俘虜。

　　這個消息傳到南方，引起了許多愛國志士的強烈憤慨。有位名叫祖逖的將領，更是義憤填膺，強烈要求出兵北伐，收復中原。

　　祖逖，字士稚，范陽遒縣（今河北淶水北）人。西晉末年，他率領數百戶族人渡過黃河，南遷到淮河流域，后來抵達京口（今江蘇鎮江）。當時，晉朝在北方大勢已去，但駐守在建業（今江蘇南京）的瑯琊王司馬睿手中還有一些兵力。他任命祖逖為軍諮祭酒（軍事顧問官）。祖逖幾次向他請兵北伐，他都置之不理。這次懷帝被俘，祖逖再也忍不下去了便特地到建業，當面對司馬睿說：“現今中原的百姓在水深火熱之中，大王應發兵北伐，奮擊苠戎狄（指外族統治集團），把受苦的百姓解救出來！”

　　司馬睿想保存自己的力量，無意出戰，因而沉默不言。于是祖逖再次請命道：“大王如能下令出兵，并派我去收復中原，那里的百姓一定會望風響應！”

　　司馬睿沒理由拒絕，便封他為奮威將軍、豫州刺史，撥給一千人的糧餉和三千匹布，其余全讓祖逖自己去籌集解決。

　　祖逖知道司馬睿只是表面上支持他北伐，但他并不因此而氣餒。他馬上返回京口，率領一百多戶族人，渡過長江北去。

　　船到中流，祖逖望著滾滾東去的江水，舉起船楫，叩擊著船舷，激昂地起誓道：“我祖逖這回如不能收復中原，就像這大江之水，有去無回！”

　　祖逖率領族人過江后，一面招兵買馬，一面打造武器，使隊伍迅速擴大。后來揮師北上，終于收復了黃河以南的大部分地區。