国民革命军第21军前身是川军第2军。1926年12月7日，川军第2军响应国民革命军北伐，被国民政府改编为国民革命军第21军，刘湘任军长。下辖8个师。
第1师，唐式遵任师长；
第2师，李雅材任师长；
第3师，王陵基任师长；
第4师，王瓒绪任师长；
第5师，向成杰任师长；
第6师，潘文华任师长；
第7师，（缺编）；
第8师，朱宗悫任师长。
另外，军直属1个旅和两个游击司令部。
1928年8月，根据国民政府编谴会议的要求，该军原有7个师、1个旅、两个游击司令部缩编为第1、第2、第3师。其中：
第1师，唐式遵任师长，蓝文彬任副师长；
第2师，王瓒绪任师长，潘文华任副师长；
第3师，刘湘兼任师长，王陵基任副师长。
不久，刘湘免兼第3师师长，王陵基继任第3师师长。1929年3月，蒋桂战争爆发后，该军被编入第7路军，刘湘任总指挥，参加讨伐武汉桂系军队的作战。1930年2月，刘湘被南京政府任命为四川善后督办，奉令对四川各军全权编谴。同年10月，刘湘、刘文辉争夺对四川的统治的混战全面展开，经过两个多月的混战，刘湘打败刘文辉，夺得川北、上川东、下川南等地区的30多个县，该军先后收编刘文辉部第24军的3个旅和第20军的陈兰亭、廖泽两个师。1931年初，该军以支援第20军为名，进占了广安、渠县。3月，该军第3师进占合川，驱走了第28军邓锡侯部的陈书农师。此时，该军实力进一步扩大，下辖6个师和川东3个边防路军。其中：
第1师，唐式遵任师长；
第2师，王瓒绪任师长；
第3师，王陵基任师长；
第4师，范绍曾任师长；
教导师，潘文华任师长；
模范师，刘湘兼任师长；
川东边防第1路，陈兰亭任司令；
川东边防第2路，穆瀛洲任司令；
川东边防第3路，魏楷任司令。
此后，该军又参加了与刘文辉、田颂尧等军阀在四川的混战。在上述这些军阀混战中，该军实力最强时，所属部队发展到9个师，5个独立旅、4路边防司令部、3路警备司令部、1个城防警备司令部、1个独立支队。
1933年10月至1935年4月，该军先后参加了对红四方面军“6路围剿”和对中央红军长征的围追堵截作战。1935年5月，国民政府对川军进行整编时，由于该军兵力过多和编制过大，所属部队被统一分编为第21、第23、第44军3个军。同年10月，刘湘升任川康绥靖主任兼四川省政府主席后，唐式遵任第21军军长，范绍曾任副军长，刘熙鉴为参谋长。此时，该军下辖：
第1师，饶国华任师长；
暂编第2师，师长彭诚孚；
第4师，师长范绍曾（兼）。
1936年2月25日至27日，国民政府为使川军“中央化”、“国家化”，以授军衔的方式，将川军将领纳入全国陆军系统。其中第21军军长唐式遵、副军长范绍曾被授予陆军中将军衔；所属各师、旅长饶国华、彭诚孚、刘兆藜、周绍轩、孟浩然等被授予陆军少将军衔。
1937年7月，抗日战争全面爆发后，国民党军队进行整编时，该军隶属第19集团军指挥，原所属部队统一整编为：
第145师，师长饶国华，参谋长曾南飞；
第146师，师长范绍曾兼任（后刘兆藜），
参谋长张六师；
独立第13旅，田冠五任旅长；
独立第14旅，周绍轩任旅长。
另将原刘湘集团所属第1、第4师和暂编第2师各一部合编成为第162师（彭诚孚任师长）改隶该军。同年9月，该军整编完毕后，军长唐式遵奉命率第145师、第146师和独立第13旅、独立第14旅出川抗战，第162师留住成都。10月，该军进至上海参加了淞沪会战。11月中下旬，该军在皖南广德、泗安一带，保卫首都外围，掩护国民政府撤离南京的作战中，第145师师长饶国华在广德失守后，自戕殉国。1938年6月，该军在参加武汉会战中，担负固守长江南岸，阻断日军长江航运，策应保卫大武汉的作战任务。1939年初，国民党军队进行局部编制调整时，该军隶属于第23集团军，军长唐式遵升任第3战区副司令长官兼第23集团军总司令，陈万仞继任该军军长，刘熙鉴任副军长。同时，将原第23军编入该军。该军原辖第145师该隶第50军；第23军原辖第147师，第148师该隶该军。此次整编后，该军先后参加了当年的冬季攻势作战和第2次长沙回转。1942年1月，陈万仞升任第23集团军副司令后，该集团军副司令刘雨卿兼任军长，周绍轩副军长。下辖部队编制调整为第145师、第146师、第147师。同年5月，该军参加了浙赣会战后驻守江西贵溪整训。1945年，该军奉命进行整编时，第147师被裁减，另将第50军新编第7师拨归第21军建制。此时，，该军下辖：第145师，师长凌谏衔；第146师，师长戴传薪；新编第7师，师长黄伯光。
1946年5月，国民党军队进行整编时，该军改编为整编第21师，原军长刘雨卿改任师长。原第145师改编为整编第145旅，旅长凌谏衔，参谋长林雪谷；原新编第7师改编为新编第7旅，旅长黄伯光，副旅长田从云、黄恒仁，参谋长戴杰夫。同年7月，该整编师新编第7旅在参加苏中作战中，旅部及所辖两个团被人民解放军歼灭，该旅番号被取消，残部编入他部。1947年3月，台湾民众举行“二二八”起义后，该整编师由江苏南通紧急调往台湾，改隶台湾警备总司令部，参加了镇压台湾人民起义的军事行动。同年秋，该整编师又奉命返回华东战场。1948年初，师长刘雨卿调任重庆警备司令部司令，王克俊从沈阳警备司令部副司令职调任师长。同年9月，该整编师恢复第21军番号，该军隶属第1绥靖区。王克俊任军长。原辖整编第145、整编第146旅，依次恢复为第145、第146师番号。同时，将新组建第230师（师长骆周能）拨归该军建制。此次整编后，该军调至长江沿岸担任将防任务。1949年4月下旬，共军发起渡江战役后，该军在阻击共军的渡江作战中被歼灭一部后逃至上海，在淞沪警备区的编成内，参加了上海郊区的防御作战。同年5月27日，该军一部在淞沪警备区副司令官刘昌义率领下向共军缴械投诚。
1949年10月1日，国民党军为加强西南地区的军事力量，以又华东撤退到四川的该军残部为基础重新编成第21军，隶属于西安军政长官公署。王克俊任军长，下辖第145师、第146师，担任宜宾、成都地区的守备任务。11月5日，西南军政长官公署将第235师拨属该军。12月下旬，该军在宜宾、成都地区被共歼灭。
