该军前身是粤军第151、第152师。1926年7月，粤系国民革命军第4军、国民革命军第5军主力参加北伐时，各留一部坚守广东，由李济深统一指挥。1928年春，国民党军使用路军编制体制后，将留守在广东的粤军改编为国民革命军第八路军，李济深任总指挥。1929年3月，蒋桂战争爆发后，李济深被蒋介石扣留在南京后，第8路军由陈济棠任总指挥。陈上任后对第8路军进行整编，将原来所属部队合编为第1、第2、第3军。1932年6月，粤军第8路军总指挥陈济棠与桂系李宗仁、白崇禧联合发动反蒋的“两广事变”时，由于陈济棠部下余汉谋被蒋收买，倒戈拥蒋，迫使陈济棠下台出逃，蒋介石任命余汉谋为第8路军总指挥。1935年余汉谋任广州绥靖公署主任兼第8路军总指挥时，取消军的编制，将所属部队统一改编为第151至第160师等部。
1937年7月抗日战争全面爆发后，国民党军队进行统一整编时，以第151、第152师合编组成为第62军，隶属第4路军。张达任军长，下辖：
第151师，莫希德任师长；
第152师，陈章任师长。
1937年12月，第4路军改编为国民革命军第十二集团军时，该军隶属第12集团军。1938年9月，第151师改隶新组建的国民革命军第83军。同年10月，日军在广东实施大规模登陆作战时，该军奉命参加广东方向抗登陆作战。此次战役失败后，抗日战争第四战区副司令长官兼第12集团军总司令余汉谋，将第151师师长莫希德作为替罪羊押解重庆治罪。
1939年1月，第83军番号撤消，第151师又改隶国民革命军第六十六军建制。另将国民革命军第65军第157师归国民革命军第62军建制，黄涛任师长。1939年9月，张达升任第12集团军参谋长，黄涛任军长。此时，该军下辖：
第153师，陈章任师长；
第157师，练惕生任师长。
同年10月，该军在粤北参加了对日军的冬季攻势作战。1940年春，国民党军队进行编制调整时，第152师改隶国民革命军第63军建制，同时，第66军第151是和第63军第154师改隶第62军建制。此时，该军下辖：
第151师，林伟俦任师长；
第154师，梁世骥任师长；
第157师，练惕生任师长。
此次编制调整后，该军先后两次参加粤北战役，奉命抵御日军由广州北犯。
1943年秋，第154师改隶第65军，第65军第158师改隶第62军，陈锦言任师长。1944年7月，第62军奉命驰援衡阳后，隶属第9战区，先后参加长衡会战、桂柳会战。1945年7月，该军第158师改隶抗日战争第七战区直辖，另将国民革命军第37军第95师调归该军建制。此时，该军下辖：
第95师，何旭初任师长；
第151师，林伟俦任师长；
第157师，李宏达任师长。
同年8月，抗日战争胜利后，第62军奉命赴台湾接受驻台日军投降，隶属台湾警备总司令部。
1946年5月，国民党军队进行整编时，第62军改称为整编第62师，隶属于保定绥靖公署。黄涛任师长，李宏达、张志岳任副师长，谢义任参谋长。原第95师改编为整编第95旅，段云任旅长；原第151师改编为第151旅，林伟俦任旅长；原第157师改编为整编第157旅，李宏达任旅长。7月，黄涛离职，林伟俦任师长。1947年3月，该师在镇压了台湾人民“二二八起义”后，由台湾海运至天津，担任津塘地区守备任务，隶属第17兵团。此时，该师恢复第62军番号，林伟俦任军长，莫汉英任参谋长。原辖各旅依次恢复第95、第151、第157师番号。同年10月，第95师调归保定绥靖公署直辖，另将国民革命军第53军第67师拨归该军建制，李学正任师长。1948年9月，该军奉命调往东北，参加了辽沈战役。在辽沈战役结束后，该军回防天津时新建第317师。同年12月，人民解放军发起平津战役后，该军由天津增防北平，不久后又奉命回防天津。在此期间，第157师被滞留北平，其余各师回防天津。在天津战役中，被人民解放军全歼。中将军长兼天津防守副司令林伟俦、第67师少将师长李学正、第151师少将师长陈植等被俘。留守北平的第157师，在傅作义宣布北平和平起义后，接受解放军的和平改编。
1949年2月，国民党军为加强在广东地区的防御力量，又在广东重新组建第62军，隶属第4编练司令部。张光琼任军长，张一中任副军长。下辖：第67师、第151师、第157师。不久，国民党军在调整部队编制时，将第67师与第157师合编为第153师。此时，该军下辖：
第151师，罗懋勋任师长；
第153师，李宏达任师长。
同年10月，该军在参加广东战役中，军部及直属分队1500人在中共底下党组织、粤桂边游击纵队策动和接应下，于湛江西营起义外，其余被全歼。广东战役后，国民党军在海南岛再次重建第62军，隶属琼崖防卫总司令部，李铁军任军长，下辖第151师、第153师、第163师和教导师。1950年3月，该军在海南岛战役中，被解放军全歼。
