公元前539年，巴比伦王国被波斯人(Persian)所灭。波斯的国王居鲁士(Cyrus the Great)对被占领土上的百姓采取宽容政策。攻占巴比伦的第二年，居鲁士颁布旨令，允许被掳的犹太人回到故土。这里已经成为波斯帝国的行省犹大地(Judea)。在此之后的二百多年里，流落他乡的犹太人陆续回到犹大地，圣殿（第二圣殿）和耶路撒冷的城墙得以重建，圣城渐渐兴旺起来。在宽松政策下，波斯对犹大地只是行使名义上的统治，犹太人的实际事务由大祭司全权负责。大祭司因而成为犹太人真正的统治者。最著名的大祭司是以斯拉(Ezra)。以斯拉根据先知们在流亡期间的思索和议论，把希伯来圣经中的前五个章节，也就是《托拉》(Torah)，加以整理、编辑，并将托拉在百姓中诵读、宣讲，使处于一盘散沙状态的犹太人再次凝聚起来。托拉成为犹太人生活中的宝典和戒律。自摩西受诫，犹太人奉上帝为唯一的神，相信自己和上帝立下了契约，是上帝的特选子民。流亡期间，先知们在犹太教义里加入了救世主的理念，相信当世界末日来临的时候，救世主弥赛亚(Messiah)会来到世上解救人类。经过先知们在流亡巴比伦和回归犹大地的岁月里对犹太教义的提炼和完善，犹太教逐渐形成了一整套的思想体系。
公元前330年，波斯被马其顿王国(Macedonia)所灭。马其顿的国王亚历山大大帝(Alexander the Great)将马其顿的疆域从地中海的希腊地区一直延伸到印度河流域，使地中海的希腊文化得以向东传播，开启了将近两个世纪的希腊化(Hellenization)时代。希腊化时代始于公元前323年。这一年亚历山大逝世，他的部下形成了军阀割据的局面。其中最有实力的托勒密(Ptolemy)在埃及自立为王，把势力范围扩展到了犹大地。由于托勒密和他的继任者们对各民族采取宽松开放的政策，犹太人享受了一百多年的太平日子。公元前195年，塞琉古王国(Seleucid)打败托勒密王国，成为犹大地的统治者。塞琉古的国王安条克四世对犹太教采取打压政策，洗劫并关闭了圣殿，焚烧了犹太教的典籍，同时宣布犹太教为非法。为反抗暴政，犹大地爆发了由犹太祭司玛他提亚和他的儿子马卡比领导的起义。起义军攻克了耶路撒冷并整修了圣殿。经过数年艰苦卓绝的斗争，犹太人终于在公元前143年摆脱了塞琉古的统治，建立了独立的哈斯摩尼王朝(Hasmonean Dynasty)。哈斯摩尼王朝一直持续到公元前63年，最后被罗马共和国所灭。公元前37年，由罗马元老院委派，大希律王(Herod the Great)成了罗马帝国犹大地行省的代理王。
在位的34年间，大希律王大兴土木，扩建了耶路撒冷的第二圣殿，并修建了一大批纪念碑式的建筑，包括著名的马萨德城堡。希律王之后，罗马逐渐将犹大地变成了罗马直接管辖的行省。罗马的残酷剥削使犹大地成为罗马帝国最穷的省份。面对暴政，犹太人屡次斗争，先后举行了两次大起义，史上被称为两次犹太战争。两次犹太战争都以犹太人的失败告终。战争期间，巴勒斯坦的几十个要塞和城市化为焦土，耶路撒冷遭到罗马军队的疯狂的洗劫和毁坏，第二圣殿（第一圣殿毁于巴比伦的入侵）的大部被毁，只剩下了一段不到五十米的西墙（又称哭墙，保持至今，是犹太人心目中最神圣的地方）。战争中一百五十多万犹太人遭到血腥屠杀，十几万人被俘虏后卖到罗马为奴。为了彻底将犹太人赶出耶路撒冷，公元135年，罗马皇帝哈德良下令在圣殿废墟上建了一座新城，并迁移犹太人以外的外族人前来居住，唯独禁止犹太人进入新城。坍塌的圣殿从此再未重建，行省的名称也由犹大地改为叙利亚-巴勒斯坦。公元一、二世纪的这两次犹太战争终结了犹太民族作为一个主体民族在巴勒斯坦定居和生活的历史。从此之后，犹太人被迫离开故土，开始了长达一千八百年的民族大流散。
