在国民革命军的编制序列中，历史上曾先后出现过5个新编第2军。
一、胶东直鲁军残部组成的新编第2军
该军前身是胶东直鲁军残部一部。1928年9月，国民革命军出师北伐到山东境内时，将胶东直鲁军残部改编为新编第2军。朱泮藻任军长。下辖第1、第2两个旅，王恩发、杜锡鉴分任旅长。其后不久，王、杜二旅合编为独立第4旅，该军番号撤消。
二、马步芳部暂编地师组成的新编第2军
该军前身是青海马步芳所属暂编第1师。1931年9月，马步芳在西宁将其所属暂编第1师改编为新编第9师。1934年初，新编第9师改编为第100师。同年3月26日，马步芳以第100师扩编为新编第2军，下辖：第100师和骑兵第1师，马步芳自任军长兼第100师师长。1935年9月，新编第2军被编为西北“剿匪”军第1路第4纵队。1936年8月至1937年5月，该军先后参加了阻止红军三大主力会师的作战和“围剿”红军西路军的作战。1937年10月，全国抗日战争爆发后，该军改编为国民革命军第82军。
三、第86、第165师组成的新编第2军
该军前身是甘肃地方武装一部。1935年冬，万耀煌所属的国民革命军第25军追击红军到达甘肃后，将甘肃地方部队收编为第165师，隶属该军建制。1937年9月，该师奉命调往上海参战，脱离该军建制。1938年9月，国民政府为加强后备力量，将第165师和第21军团第86师合编组成新编第2军，隶属西安行营公署，鲁大昌任军长。下辖：
第86师，高双城任师长；
第165师，王治歧任师长。
1939年处，第86 师直属该军团建制、第165 师调归国民革命军第80军后，新编第2军仅保留军的番号。1940年处，该军番号撤消。
四、第91、第193师等部组成的新编第2军
该军前身是国民革命军第85军第91师、第13军第193师和国民革命军第30集团军直属暂编第16师。第91师的前身是东北一部。1931年冬，东北军冯占海部在东北作战失利后退到热河，加入察哈尔抗日同盟军。不久，冯部被何应钦收编为第63军。西安事变后，该军缩编为第91师，隶属国民革命军第53军。1938年6月又改隶第85军；另一部为国民革命军第98军第193师。1939年初，第98军被裁减后，第193师改归国民革命军第13军所辖。1940年2月，国民政府为加强后方守备力量，以第85 军第91 师、第13军第193师、第30集团军直属暂编第16师，合编组建新编第2军，隶属第8战区。陈大庆任军长。下辖：
第91师，王毓文任师长；
第193师，赖汝雄任师长；
暂编第16师，李强任师长。
同年12月，国民党军队进行部分编制调整，该军改番号为国民革命军第29军。
五、新编第45、第46师组成的新编第2军
该军前身是新疆地区的部分地方武装。1944年2月，国民党军为加强对新疆地区的军事统治，将新疆乌苏、呼图壁、奇台等地区的地方武装，统一编成新编第45师、新编第46师。不久，将新编第45师、新编第46师合编组成新编第2军，由国民革命军第二十九集团军总司令李铁军兼任军长，叶成任副军长。下辖：
新编第45师，谢义峰任师长；
新编第46师，徐汝诚任师长。
该军编成后，即在新疆乌苏、呼图壁、奇台等地区担任守备任务。1945年8月，抗日战争胜利后，李铁军调任军事委员会委员长西安行营河西警备总司令部总司令，叶成接任军长。不久叶成调任迪化警备司令，谢义峰任军长。此时，该军隶属新疆警备总司令部，下辖：新编第45师、新编第46师不变。1947年春，新编第2军改编为整编第78师，隶属西北军政长官公署，谢义峰任师长。原辖新编第45师改为整编第178旅，徐达任旅长；新编第46师改为整编第179旅，崔颖春任旅长。1948年8月，谢义峰调任整编第13师师长后，叶成任该整编师师长。同时将暂编第58师改为第227旅调归该师建制，顾葆裕任师长。此时，该军辖整编第178旅、整编第179旅整编第227旅。1949年9月25日，整编第78师随新疆警备总司令陶峙岳起义，接受解放军的改编。
