该军前身是湘军第1师，1926年8月，程潜所属的湘军第1师在北伐战争中被改编为国民革命军独立第2师。1927年3月，独立第2师扩编为第40军。1928年9月，第40军缩编为第8师，后编入第37军。
抗日战争
1937 年9月，国民党军队为加强淞沪会战中的军事力量，以第37军第8师为主力扩编组成第76军，辖第8师，陶峙岳任军长兼师长。该军编成后，隶属国民党军事委员会直辖，参加了淞沪会战。战后，调回陕西，担任守备任务，隶属西安行营。1938蔫月，第1军军长李铁军与第76军军长陶峙岳对调职务，李铁军改任第 76军军长，卢兴荣任副军长。同时，新建预备第1师调归该军。此时，该军下辖：
第8师，曾志远任师长；
预备第1师，谢辅三任师长。
1939年春，该军隶属第1战区时进行编制调整，预备第1师改隶第16军，另将第27军的第24师、第1战区第196师改隶该军。此时，该军下辖：
第8师，袁朴任师长；
第24 师，杨光钰任师长；
第196师，刘超寰任师长。
1941年5月该军第8师奉命该隶代57军，另将暂编第57师改隶该军。1942年上半年该军第196师调往重庆，另将新编第5师改隶该军。此时，该军下辖：
第24师，廖昂任师长；
新编第5师，廖慷任师长；
暂编第57师，祝夏年任师长。
1943年9月，李铁军升任重建的第3集团军总司令，廖昂接任军长，黄祖埙任副军长。同时将荣誉第2师编入该军，戴坚任师长。1944年，荣誉第2师改隶第5集团军指挥，此时，该军下辖第24师、新编第5师、暂编第57师编制不变。此后，该军隶属第6战去，由陕西调至湖北秣归担任守备任务。1945年春，国民党军调整军队编制时，该军新编第5师被裁减后，下辖第24师和暂编第57师。1945年8月，抗战胜利后，该军由湖北调往陕西，并将暂编第57师改编为第135师。
解放战争
1946 年4月，国民党军进行整编时，该军改编为整编第76师，军长廖昂改任师长，李学超任副师长。同时，将该师第135旅调归整编第15师，另将整编第15师第 144旅调归整编第76师建制，该师下辖：整编第24旅，张新任旅长；第144旅，赖汝雄任旅长；新编第1旅，黄咏赞任旅长。此次整编后，该整编师隶属第 4集团军，先后参加了对人民解放军挺进中原的追堵作战。1947年1月，新编第1旅改编为整编第75旅。此时，该整编师下辖整编第24、整编第75、整编第144旅。同年，国民党军对陕北发起重点进攻后，该师先后参加了进攻延安战役、陕北战役、青化0战役、羊马河战役、蟠龙战役、沙家店战役和延清战役等作战。在延青战役中，该师师部及整编第24旅大部被人民解放军歼灭。中将师长廖昂，少将参谋长刘学超，少将新闻室主任曹锡武等被俘。战后，该师重建师部和第 24旅，第18绥靖区司令长官徐保兼整编第76师师长，担任后方基地陕西宝鸡的防守任务。1948年4月，该师在参加西府陇东战役中，该师师部及所辖第 144旅被全歼，少将师长徐保被击毙。战后，该师隶属西安绥靖公署，再次重建师部。李日基任师长，同时将重建后的第144旅改隶属西安绥靖公署直辖。此时，该师下辖整编第24旅，张汉初任旅长；整编第75旅，黄咏赞任旅长。
1948年9月，该整编是恢复第76军番号，李日基任军长。原整编第24旅恢复第24师番号，于厚之任师长；原整编第75旅恢复第75师番号，黄咏赞任师长。同时，新建第20师拨归该军，吴永烈任师长。不久第75师的番号被取消，该军下辖第20、第24师。该军恢复番号后，先后参加了荔北战役、1948年西北冬季攻势作战等。在冬季攻势作战中，该军军部及所辖第20师、第24师被人民解放军全歼，中将军长李日基、少将参谋长高宪岗等被俘。1949年1月，该军重建后，前西安绥靖公署副参谋长薛敏泉任军长。下辖：
第20师，褚静亚任师长；
第24师，张汝弼任师长。
同年2 月，该军第20师在西北春季战役中再次被解放军全歼。此次作战后，该军撤至陕西安康进行休整时，再次重建第20师，仝敬鑫任师长。同年10月，该军退入四川广元地区归第7兵团指挥，11月该军在西南战役中被解放军全歼于新津、邛崃地区。
