该军前身是傅作义所属的暂编第3军。1940年,傅作义为加强华北地区的军事力量,组建了暂编第3军,隶属华北“剿匪”总司令部。孙岚峰任军长,下辖:暂编第10师、暂编第27师、暂编第31师。1948年初,暂编第31师改称第161师;暂编第10师改称第196师;暂编第27师番号不变。1948年9 月,暂编第3军改称第104军,安春山任军长,王宪章任副军长,郝勤福任参谋长。原第161师改称第250师,王建业任师长,王步云任副师长,孙伯缘任参谋长;原第196师改称第258师,张惠缘(后赵树桥)任师长,刘一平任副师长,王鸿鹄任参谋长;暂编第27师改称第269师,慕新亚任师长,戴增俊任副师长。
同年12月5日,国民党第35军由张家口撤回北平途中,被解放军围困于新保安附近,第104军第250师、第269师奉命前往解围,被解放军包围于怀来东面的横岭关一带,大部被歼。此次作战后,该军以第250师、第269师残部为基础重新组建第250师、第269师;12月下旬,第258师在怀来西南地区,被解放军包围后全歼,师长张惠源被俘。战后,傅作义将直隶“剿匪”总司令部的第309师改编为第258师,改隶该军序列。1949年 1月,该军在平津战役第一阶段中,先后于平绥线怀来、康庄地区被解放军歼灭大部,少将副军长王宪章、少将参谋长郝勤福、少将政工处长张沧等被俘。军长安春山被俘后伪称伙夫,被释放后溜回北平,收容残部,重新组建该军。同年1月下旬,该军跟随傅作义参加北平起义,接受解放军的改编。