鲜卑族人成为这块土地新的霸主之后，南匈奴人的生活受到巨大影响，这些鲜卑族人时时刻刻威胁着他们的生命安全。为了重寻安定祥和的生活氛围，南匈奴人被迫背井离乡，纷纷南下进入到东汉境内，居住在河套一带。
但是好景不长，东汉境内的和平局面也没有维持多久，公元184年，爆发了历史上著名的黄巾起义，东汉的大地上顿时硝烟弥漫。在这样混乱局面下，南匈奴内部也很不团结，于公元187年，发生了一场内讧，许多人失去了生命。
最后还是曹操来收拾了这个局面，将这些归顺的南匈奴人重新划分为五个部分，分散了他们的力量，以便于分而制之。这项措施取得的效果非常明显，匈奴人在此后的很长一段时间里，几乎没有闹出什么乱子。
但是到了公元4世纪初，情况又发生了变化：匈奴民族的五部大都督刘渊在成都王司马颖手下混饭吃。刘渊是个非常有头脑的人，他紧紧抓住了西晋王朝在“八王之乱”之后政局动荡的有利时机，果断起兵占领了北部中国的大部分地区，并自称为汉王。从此之后，刘汉王一发而不可收拾，于公元311年攻占洛阳，公元316年占领长安，吞掉了仅仅存在了51年的西晋王朝。中国历史再次进入了大分裂时期。