60军的前身是晋冀鲁豫野战军第8纵队,首任司令员是上将王新亭。后改为华北野战军8纵,隶属华北军区第1兵团,直接归徐向前指挥,参加了临汾、晋中、太原等战役。该纵队第23旅,在临汾战役中,英勇奋战,首先登城,被授予“光荣的临汾旅”称号。在当时,以攻下的城市命名部队可是一种巨大的军人荣誉。 1949年全军进行整编,8纵改称中国人民解放军18兵团第60军,王新亭任军长兼政治委员,张祖谅任副军长兼参谋长。
60军先是参加了解放西北的扶眉战役,然后又跟着贺龙南下秦岭,一直解放了成都。1950年,60军在川西进行剿匪作战,在11个月内作战57次,肃清了川西匪患。1951年3月,60军作为第二批部队入朝参战。当时的军长张祖谅因任川西军区司令员,由韦杰继任军长。
1951年4月,60军归志愿军3兵团指挥,参加了第五次战役。在战役的第一阶段,60军突破土耳其旅的阻击,插入釜谷里,渡过汉滩川,占领永平、东豆川里地区,割裂了美25师、土耳其旅??军、法军各一部,又连续与美军发生激战,一直进攻至北汉江以南地区。不久,美军发起反击,学中国军队打起了机械化穿插,一举割裂了中国军队的战线。60军左右两翼都已暴露,恰此时3兵团电台车被炸,军部与兵团部失去了联系。韦杰命60军180师在北汉江以南组织防御,以掩护全兵团的伤员转运。然而因美军进军速度太快,志愿军的通讯联络系统又严重滞后,180师很快陷入了被敌四面包围的险境。韦杰急命60军其他两个师进行解围,但都被美军击退。而180师的领导却临阵犹豫,突围决心不坚决,反而下了分散突围的命令,终于使局面不可收拾。最后,180师师部领导机构突围出来了,但全师1万余人损失了7000人,其中5000余人被俘,成为中国军队在朝鲜战场上的奇耻大辱。战后,60军撤回后方进行整训,军长韦杰被撤职。
1952年秋季,60军配属第20兵团,接替第68军担负东起文登里、西至北汉江一线的防务。此时张祖谅已入朝复任60 军军长。当面之敌为韩3师、韩5师和韩6师,60军先是组织了26次小型的战术反击,其中25次胜利完成任务,歼敌数千人。1953年5月,中国军队发起夏季反击战役。在第一阶段中,60军连战14天,作战13次,歼敌1735人,推进阵地0.5平方里,自己伤亡500余人。在第二阶段中,60军大胆采用敌前潜伏战略,在韩5师眼皮底下埋伏了179师和181师共3500人的大部队。结果一战成功,夺占全部阵地,创造一战歼敌一个团的阵地战纪录。而180 师如法炮制,以2000人的部队进行敌前潜伏,也打了一个漂亮的翻身仗。其后60军击退了韩军数百次进攻,巩固了新夺占的阵地。统算下来,60军在此战中扩展阵地45平方公里,歼敌14800余名。这在志愿军阵地战阶段,可算是各军中独一无二的战绩了。
1953年7月13日,在金城战役中,60军加入东集团作战,突破韩8师防线,勇渡金城川,进至白岩山和黑云吐岭一线。其后背水作战,顽强阻击联合国军发起的凶猛反击。最后,才在兵团首长的命令下将主力撤至金城川以北防御,胜利结束了抗美援朝的最后一仗。
朝鲜停战协定签字后,60军奉命班师回国。在2年多的作战中,60军共毙伤俘敌54000余人,缴获各种火炮180余门,各种枪支6200余支。其歼敌数量在志愿军各军中仅次于38军居第二位。60军在朝鲜战场上的战绩是相当不俗的,但长时间内却被180师的五次战役失利掩盖了,因而甚少为世人所知。对于60军来说,这是极为不公平的。