在国民革命军的编制序列中，历史上曾先后出现过5个第31军。分别为滇军，北洋军，西北军，桂粤军，青年军。
滇军
滇军金汉鼎等部组成的第31军，该军前身是滇军一部。1926年6月，国民革命军出师北伐后，队伍迅速扩大。1927年4月，国民政府将滇军金汉鼎部和朱培德第3军一部扩编成为国民革命军第9军。1928年1月，第9军改编为第31军，隶属第1集团军，金汉鼎任军长。下辖：
第27师，杨如轩任师长；
第28师，韦杵任师长；
第29师，周志群任师长，
及独立第7、独立第37师。
该军编成后，出兵参加北伐，兵锋曾进抵河北青县。同年秋，该军移防江西，参加了对井冈山革命根据地红军的“清剿”后，第31军的番号撤消，所部缩编为第12师。
北洋军
北洋军孙传芳一部组成的第31军，该军前身是直系军孙传芳所属一部，1927年5月，北伐军攻克扬州后，将孙传芳所属北洋军统一改编为第91、第92、第93师。同年6月，上述3个师合编组成第31军。郑绍虔任军长，李明扬任副军长。下辖：
第91师，张中立任师长；
第92师，李齐峰任师长；
第93师，蒋毅分任师长。
9月，该军被何应钦部收编，番号撤消。
西北军
西北军孙良诚一部组成的第31军，该军前身是西北军孙良诚部一部。1930年10月，中原大战开始后，原西北军孙良诚部所属梁冠英部投降蒋介石，在河南被国民革命军改编为第31军（亦称第25路军）。梁冠英任军长，下辖：
第32师，梁冠英任师长（兼）；
独立第5旅，郑廷桢任旅长。
1931年初，该军由河南开至苏北淮阴，隶属江苏绥靖督办节制。1932年8月至1934年6月，该军在鄂豫皖边区，奉命参加了对鄂豫皖苏区和红军的第四、第五次“围剿”。1935年，该军所属独立第5旅调归第14军。1936年12月，西安事变发生后，东北军第106师（原石友三残部）编入第31军建制。此时，该军下辖：
第32师，梁冠英任师长（兼）；
第106师，沈克任师长。
1937年初，军长梁冠英任调任国民党政府国民党加军事委员会中将高参，第31军被裁减。
桂粤军
桂系、粤系各一部组成的第31军，该军前身是桂系李宗仁所属一部。1936年6月，桂系军联合粤系陈济棠部发动“两广事变”反蒋后，被迫接受蒋军收编，其中，将桂系李宗仁所属部队原辖5个师及粤系第19路军残部和编为第170师、第171师、第172师、第173师、第174师、第175师等五个师。
1937年8月，全国抗日战争爆发后，国民政府以第173师、第174师与第135师在南宁合编为第19军，不久后，改称第31军，刘士毅任军长，覃连芳任副军长。下辖：
第135师，苏祖馨任师长；
第173师，贺维珍任师长；
第174师，王赞斌任师长。
1938年，该军由南宁会师北上进驻徐州，隶属第11集团军。同年2月，军长刘士毅调任国民党军事委员会军训部次长，由韦云淞任军长。5月，参加徐州会战，担任淮河北岸布防，抗击北进日军。徐州会战后，该军奉命移师武汉，隶属第5战区第21集团军。8月，该军参加武汉会战，担任防守武汉前方要地和武汉外围主要阵地的作战任务。武汉会战结束后，该军调往广西桂林进行整训。
1939年，国民党军调整部队建制，该军隶属第16集团军，原辖第173、第174师归第84军建制，另将第84军第131、第188师改隶归第31军建制。此时，韦云淞任军长，贺维珍任副军长，下辖：
第131师，贺维珍兼任师长；
第135师，苏祖馨任师长；
第188师，莫德宏任师长。
同年11月，该军奉命参加桂南会战，担任阻止日军进攻的任务。其中，第135师担任南宁和邕江北岸守备；第188师在昆仑关以北集结为预备队。12月初，该军一部向高峰隘方面执行攻击作战任务，牵制日军，并以另一部进南宁东北四塘一线，阻止南宁日军向昆仑关增援，以配合北路军主力作战。1941年7月，军长韦云淞免职，由贺维珍升任军长。9月，该军奉命参加第2次长沙会战，主要担任非主战场的牵制性作战。1944年8月，该军参加桂柳会战，在桂林防御作战中担任防守任务。1945年4月，该军被裁减，所辖第131、第135师被裁减，第188师改隶第46军。
青年军
青年军一部组成的第31军，该军前身是抗日战争后期组建的青年军一部。1944年12月至1945年4月，国民党招募知识青年入伍，并配以基础较好的师为骨干，先后编成青年军第201至第210师共10个师。1945年8月，抗日战争胜利后，国民党军将其第208、第209师在杭州合编为第31军（亦称青年军），隶属衡洲绥靖公署，黄维任军长。下辖：青年军第208师，吴啸亚任师长；青年军第209师，温剑鸣任师长。10月，该军所辖两师精间后，所属部分官兵士兵复员，两师合编为新的208师，以吴啸亚任师长，调赴北平行营。
1947年，又以第201、第204、第205师在台湾重新编成第31军（亦称青年军），隶属台湾警备总司令部。廖慷任军长，下辖：第201师，潘国华任师长；第204师，龙啸声任师长；第205师，邓文僖任师长。该军编成后，担任台湾守备任务。1948年初，该军军部及第205师奉命调至北平、第204师调至青岛，分别担任该地区防守任务。同年11月，第205师参加平津战役。1949年1月，该军军部及第205师在北平和平解放中，接受人民解放军的改编。第204师由青岛撤退至上海。同年5月，第204师在参加上海战役中，大部战死，余部由该师师长龙啸声率领撤退至台湾。
