从东汉以来，中国西部和北部周边的各少数民族开始不断地向内地迁徙。造成这一状况的原因，主要是由于汉王朝的军事征服以及他们为弥补中原兵力和劳力不足而对各少数民族的招诱。与此同时，周边各少数民族势力的消长变化也引起一些民族迁徙。魏晋之际，在北方汉族人口锐减的情况下，胡族内迁形成高潮。在这过程中，内迁的民族主要包括匈奴、羯、鲜卑、氐、羌等，历史上泛称为“五胡”。
西晋初年，中国北部、东部和西部，尤其是并州和关中一带，居住着许多处于不同社会发展阶段的少数民族，“西北诸郡皆为戎居”，关中百万余口，“戎狄居半”。在汉族的影响下，这些内迁的外族逐渐由游牧转向农业定居，胡汉文化相互影响渗透。但在交融的同时，胡汉亦存在一定的矛盾，例如并州的匈奴人成了汉人的奴婢，而不少汉人也相继沦为胡人奴婢。这些奴婢常常被迫服役，当军作战，更有甚者被地方官员押往他乡出卖，因而激起了境内各民族的反抗；而各族上层人物亦往往利用本族人民，实行割据。连续不断的胡族内迁引起胡汉双方的矛盾，严重动摇了西晋政权的统治根基，大规模的暴动有一触即发之势。
当时西晋一些官僚也察觉到形势的严重性，于是便有以郭钦、江统为代表，提出“徙戎”的主张。他们建议用武力将内迁的胡族强制徙迁回原住地，并以“内诸夏而外夷狄”的办法隔绝胡汉接触，来防止胡人的反抗。
晋武帝非英明之主，平吴后纵情声色，又无远大眼光，拒绝了徙胡的建议，反接受大批匈奴归附。相反，他罢黜了州郡兵，令地方武备废弛，连盗贼亦不能制，所以胡人起兵后，全无阻碍。司马光《资治通鉴》说：“惠帝）永宁以后，盗贼群起，州郡无备，不能擒制，天下遂大乱。”
而此时的西晋王朝却祸起萧墙。在统治集团内部，西晋诸王为争夺中央最高权力，发生了一连串的相互残杀和战争，历时16年之久，史称“八王之乱”。这场大恶斗给人民带来了无穷的灾难。生产遭到破坏，数十万人民丧失了生命，许多城市被洗劫和焚毁。不少人饥饿而死。人民又重新陷于苦难的深渊，掀起了大规模的流亡的浪潮。尤其是诸王利用少数民族的贵族参加这场混战，造成了严重的后果。而晋室内部腐败至极，地方防务不修，连年天灾人祸，西晋王朝摇摇欲坠，遇上强悍的胡人遂一推即倒。
永兴元年（304年），匈奴贵族刘渊在左国城（今山西离石）起兵反晋，逐步控制并州部分地区，自称汉王。光熙元年（306年），晋惠帝死，司马炽嗣位，是为怀帝，改元永嘉。刘渊遣石勒等大举南侵，屡破晋军，势力日益强大。
刘渊，字元海，祖父为南匈奴单于，父刘豹为匈奴左部帅，曹魏时改姓刘。西晋太康末刘渊为北部都尉，后为建威将军，五部大都督，受晋封为汉光乡侯。起兵反晋后自称汉王，永嘉二年（308年）正式称帝。
刘渊死后，其子刘聪继位。次年，刘聪遣石勒、王弥、刘曜等率军攻晋，在平城（今河南鹿邑西南）歼灭十万晋军，又杀太尉王衍及诸王公。
永嘉五年（311年），匈奴兵攻陷西晋京师洛阳，俘虏了晋怀帝。纵兵烧掠，杀王公士民三万余人。史称“永嘉之乱”。
次年，怀帝遇害的消息传来，司马业遂登位为愍帝，改元建兴，都长安。建兴四年（316年），匈奴刘曜陷长安，愍帝出降，被掳至平阳，西晋亡。
中原已是水深火热，晋室只得南渡建国，晋元帝司马睿在建康称帝。汉族士族也举家相随，车声辚辚，扶老携幼，辛苦备尝。这是中原汉人第一次大规模南迁，史称“衣冠南渡”。“衣冠”是文明的意思。
琅玡王氏、陈郡谢氏、谯郡桓氏，这些名门望族，离开了自己祖辈发迹的故土，非常舍不得，便在南方设立了侨郡。如，晋朝兖州原在今山东境内，后在广陵（今扬州附近）设置了南兖州；徐州原在今苏北，后在丹徒设置了南徐州。
当时江南的经济文化还很落后，汉人南迁，带来了先进的技术及资金和充足的劳动力。此后，江南地区渐取代中原而成全国经济重心。
