该军前身是胶东刘珍年部。1928年9月，国民革命军在北伐战争中击溃直、鲁联军后，刘珍年在胶动收抚直、鲁败兵与地方民团合编为国民革命军暂编第1军，刘珍年任军长。下辖：
第1师，刘珍年兼任师长；
第2师，梁立柱任师长；
第3师，何益三任师长；
第4师，李锡相任师长；
第5师，施忠诚任师长。
1929年5月，国民革命军进行统一编遣时，暂编第1军缩编为新编第3师，刘珍年任师长，何益三任副师长，原所属的5个师合编为第1旅、第2旅、第3旅。第1旅，刘珍年兼任旅长；第2旅，梁立柱任旅长；第3旅，张銮基任旅长。
1930年3月，新编第3师改为陆军第21师。6月，第21师扩编为第17军，刘珍年任军长。下辖第1、第2、第3旅编制不变。1931年月，该军番号被撤消后，该军恢复原第21师番号，刘珍年复任师长，并将所辖第3旅改为独立旅。1932年，刘珍年率部在胶东占据城市13座，企图割据胶东时，被蒋介石调至江西上饶一带与红军作战，被红军打败。蒋介石以刘珍年指挥不力为名将其枪毙，任命何益三任师长，并派其嫡系李仙洲任副师长。1936年，何益三被撤职，李仙洲任师长。从此，该师被蒋介石吞并。
1937年7月，抗日战争全面爆发后，第21师由陕北开赴南口抗击日军，归第13军团汤恩伯指挥。10月，该师在参加忻口战役中被日军击败，几乎全军覆灭。1938年2月，第21师残部开至河南郑州休整时，将河南和山西的两个保安团补入该师，与驻河南原隶属第8军的第95师合编为第92军，李仙洲任军长。下辖：
第21师，候镜如任师长；
第95师，罗奇任师长。
该军成立后，即调赴鲁南地区，参加了徐州会战。同年5月，该军在徐州会战后，退至湘北九岭一带休整并担任该地区的防御任务。7月，该军奉命增援九江，在瑞昌与日军作战中伤亡约两个团，后撤至湖南平江一带休整。1939年9月，该军第95师调离该军建制，另将第32军第142师拨归该军建制，傅立平任师长。同年冬，该军奉命开抵鄂北襄阳、樊城、随县、老河口一带驻防。1940年5月，该军参加宜枣会战，在宜昌东南马家寨一带与日军作战中，第21师第63团被全歼。此次战役后该军退至宜昌休整。10月，调驻皖北。1941年月该军在参加涡阳、蒙城战役中遭受重大伤亡。此次作战后，江汉师管区拨河南、湖北新兵4000余人补入该军。2月，又骑兵第2军暂编第56师拨归该军监制。此时，该军下辖：
第21师，侯镜如任师长；
第142师，傅立平任师长；
暂编第56师，柴济川任师长。
1943年，该军第28集团军时，奉命由皖北调往山东增援于学忠部，途中李仙洲升任第28集团军总司令，侯镜如升任该军军长，傅立平、柴济川为副军长。下辖：
第21师，黄恢亚任师长；
第142师。刘春岭任师长；
暂编第56师，孟绍周任师长。
该军到山东后，多次参加对日军的作战，伤亡惨重，每团仅剩残余官兵400余人，重武器全部丢光，在退回皖北进行休整后，旋即调往河南许昌。1944年3月，国民党军为增强长江防务，调该军从河南赴四川万县。7月，该军调至湘西石门后隶属第6战区，参加了长（沙）衡（阳）会战。1945年春，该军奉命开往湖南常德休整时，暂编第56师被裁减，另将第39军第56师拨归该军建制。此时。该军下辖：
第21师，郭惠苍任师长；
第56师，刘和鼎任师长；
第142师，刘春岭任师长。
4月该军参加了湘西等会战。
1945年8月，抗日战争胜利后，该军由湖南常德调往武汉接受日军投降时，收编了汪精卫新编第7军及其他伪军各一部。9月，该军空运至北平，担任北平城防警备任务，其军长侯镜如兼任北平警备司令部司令。1947年10月，侯镜如第21师由唐山增援东北，进至辽西义县时，被解放军冀热辽军区部队歼其大部，师长郭惠苍被俘，副师长被击毙，侯镜如逃脱锦州后重建第21师。此次作战后，该军第56师、第142师由冀东调防天津时，改为华北“剿匪”总司令部机动部队。同年冬增编第318师。此时，侯镜如任军长，刘春岭、孔海鲲任副军长，下辖：
第21师，李荻秋任师长；
第56师，王有湘（后余有）任师长；
第142师。刘汝霖任师长；
第318师，刘元伯任师长。
1948年夏，该军为配合国民党军在东北战场的作战，奉命进至冀热辽地区，主力集结与平古、北宁路沿线。同年9月，侯镜如升任第17兵团司令，黄翔接任第92军军长时，该军调往北平担任守备任务。1949年1月，北平和平解放后，该军第21、第56、第142师接受和平改编。第318师在师长彭怀霖的率领下由海路撤逃杭州。同年4月下旬，解放军发起渡江战役后，师长彭怀霖见大势已去，率主力投降。其残部逃至福州后由补充成立第318师，解景和任师长。8月，解放军叶飞兵团向福州进军时，第318师师长解景和率少部撤退台湾，副师长曹仁风率主力投降。
