刘渊是个典型的“追星族”,他追的这“星”就是汉高祖刘邦和光武帝刘秀,因而建立的国家称“汉”,就连自己死后的谥号与庙号都与刘邦和刘秀的差不多,刘秀是“汉光武帝”,刘渊则是“光文帝”刘邦是“汉高祖”,刘渊也是“高祖”。刘渊所作所为,也是一直以刘邦刘秀之所为作为自己的行为准则。
西汉末年以来,一部分匈奴人散居在山西一带的边远郡县,他们逐渐接受了汉族的文化。匈奴族认为祖先曾多次跟汉朝和亲,是汉朝皇室的亲戚,后来就改姓刘。曹操统一北方后,把匈奴分为五个部,每个部都设部帅,匈奴贵族刘豹是其中一部的部帅。刘渊便是刘豹的儿子。刘渊很喜欢学习,年少时就阅读了大量古代典籍,而且还练就了一身的好武艺。
刘渊十几岁时,以人质的身份到了洛阳,他在这里广泛结交汉族官僚。刘豹病死后,刘渊接替左部帅之职,后来又被封为北部都尉。刘渊从严治理,轻财好施,以诚相待,逐渐吸引了一大批有志之士。匈奴五部都归附了刘渊。后来刘渊又被调到邺城,升任宁朔将军,负责匈奴五部的军事工作。
这时“八王之乱”已经拉开了序幕,北方地区成了西晋宗室互相残杀的舞台,人民生活在水深火热之中。匈奴左贤王刘宣等人见恢复匈奴故业的时机已到,便秘密推举刘渊为大单于,并派人到邺城请刘渊回来。
刘渊接到邀请后,迫切希望离开邺城,但司马颖不同意,刘渊只好暂时作罢。公元304年,王浚、司马腾起兵反晋,刘渊乘机对司马颖说:“王浚、司马腾兵多将广,仅凭我们目前的实力恐怕很难把他们消灭。我想回去为殿下调动匈奴五部的兵马,共同对付他们。”司马颖答应了。
刘渊离开邺城,马不停蹄地赶到左国城,自称大单于,起兵攻击司马腾,不到20天,手下士兵就发展到五万人。
刘渊离开邺城不久,王浚手下就率领鲜卑人包围了邺城。刘渊听到这一消息时,准备发兵攻打鲜卑、乌桓,解邺城之围。刘宣等人劝刘渊说:“西晋君臣不值得相救,难道你忘了他们把我们像奴仆一样对待,这口气您能咽得下去吗?现在司马氏互相残杀,正是灭晋的大好时机。况且,鲜卑、乌桓与我们同是受欺压的少数民族,我们可以联合他们,使他们成为我们的外援,怎能去伤害他们呢!”刘渊一听如梦初醒,激动地说:“好!我现在有十万雄兵,消灭晋朝,就像秋风扫落叶般容易。但是,我们不要忘记,占有天下需要赢得人心。从长远利益着想,我们应当打出汉朝的旗号。我们都知道,我们的祖先冒顿单于曾经娶汉女,和汉高祖刘邦是结拜兄弟,我们都是汉朝的外甥。这样,我们把国号叫做汉就名正言顺了。”于是刘渊便自称汉王。这时,汲桑、王弥、石勒遭到晋军重创后,先后投入了刘渊的怀抱,刘渊的势力更加强大了。公元308年,刘渊自称皇帝,把国都迁到了平阳(今山西临汾西北),以图进攻洛阳。之后,刘渊派王弥、刘曜两次进攻洛阳,但都没有成功。公元310年,刘渊病死。