在日本开始战争时，日本官员与军部虽然注意到了中共的抗日热情，但毫无疑问，国民党军队才是他们对手。
从《大本营陆军部》一书中可以发现，国民党中央直系军队的战斗力，尤其中坚军官强烈的抗日意识和斗志，绝对不容轻视。面对台儿庄战役中国军队的顽强死守，书中慨叹“尸山血海，非日军所特有”；1939年底开始的冬季攻势乃“中国军攻势规模之大，斗志之旺盛，行动之积极顽强均属罕见”，是“整个中国事变中陆军最暗淡的时代”；策应对香港作战的第二次长沙作战，因薛岳的血战令日军“部分将士的必胜信念发生了动摇，需要年余始能恢复”。
相较对重庆军的周密部署，大本营对中共并不重视，因为与苏联的联系，日军大本营一直强调的是防共，斩断可能出现的红色通道。而早期中共也没有显示出强大的战力，只有一直与中共缠斗的华北方面军备受困扰，“敌人擅长谍报工作，善于退避、潜伏”，“击败重庆军并不难，而对付采取退避分散战术的中共军却不容易”，显得不太真实的地道战让曾在冀中一带作战的加岛武中佐感叹“日军总像是在和鼹鼠作战一样”（《华北治安战》）。
结果到了1938年秋，日军突然发现“占领了中国大部分主要城市，但是日军所统治的充其量不过是一些点（城市及其周围）和线（铁道和公路干线），除此之外的地区，到处都遍布抗日据点，中国军队展开游击战，给日军以威胁。”（《日本外交史》）
客观来讲，此时所指中国军队包括八路军与国军两部分，日军并没有加以区别，在武汉会战前后，为了保证铁路的通顺实施了肃正。然而他们发现，经过几期扫荡，“中共军扩张势力的活动很显著……逐渐蚕食蒋系军及杂牌军，急剧地扩大了他们的势力。”
这很快引起了日军的关注。1939年3月，日本华北方面军汇编的《战时月报资料》写道：共产党军队“在正太线南北地区有蠢动的征候。共产军的群众工作似乎越作越深，尤其是朱德所在的晋南方面敌人的工作更为彻底，想得到情报极为困难”。
同年12月，华北方面军情报负责人会议又指出：“根据最近情报，共产势力渗透华北全部地区，就连北京周围通县、黄村（大兴）等地，也都有组织地渗透于民众中间。”他们由此认定：“中共势力对华北治安的肃正工作，是最强硬的敌人。为此，应加紧收集情报，确立排除中共势力的对策，实为当务之急。”
在这次会上，华北方面军参谋长笠原幸雄也承认：“今后华北治安的致命祸患，就是共军。只有打破这个立足于军、政、党、民的有机结合的抗战组织，才是现阶段治安肃正的根本。”基于这种认识，他主持制定的1940年“肃正计划”规定：中共“势力迅速发展壮大，不容忽视。如不及早采取对策，华北将成为中共天下。为此，方面军的讨伐重点，必须全面指向共军”。（《华北治安战》）
百团大战中，八路军攻克涞源县日军据点东团堡
尽管如此，在百团大战前“日军从未想到中共势力竟能扩大到如此程度”。华北方面军的作战记录中，一再以损失、过失、轻率、痛苦、教训、反省等叙述此战，甚至提到“保持军队威信”，这在《大本营陆军部》中是绝无仅有的。
此后，华北方面军在大本营的支持下对共产党地区大举进行肃正作战，经过两年激战，军队规模和解放区缩水。但是到了1943年以后，它们又得到了巩固和发展。1943年5月，山西《新民报》登载的一篇文章亦承认：“一向即以狡黠著称之共党军，彼等确有不可漠视之独特战法……其所以几年仍未全灭者，实不能不归功于其特有战法，所谓特殊战法者，亦即彼等所自觉得意之游击战。”
北平《新民报》于年底指出“解决大东亚战争之关键之中国事迹之终局，乃在解决中共军。”因此，日军大部分时间总把兵力的六、七成都用在同中共的战斗上，此时“国民党军队避免同日军决战，企图尽量减少消耗，为战后的政治统战保存兵力。”
在对中共的作战中，日军顺便扫荡了国民党军队，然而他们马上发觉这是错误的行为。例如1941年日军占领了国民党军卫立煌部长期据守的中条山，结果却是其始料未及的，“中条山会战以后，在新占据的地区内，以前的不安定势力即重庆军，被中共势力取而代之，逐渐浸透到各个方面，治安反而恶化了”（《中国事变陆军作战史》），“蒋系军在华北最后的地盘由于中原会战失掉以后，共产军（八路军）显然成为扰乱华北治安的主要敌人”（《大本营陆军部》）。对此，日本华北方面军曾反省：“作为蒋系中央军扰乱治安基地的中条山脉据点，的确受到重大打击。但是这个所谓‘扰乱治安的游击基地’，实际上有名无实。拿它与共党系统相比，它的活动是极其差劲的。然而，当蒋系军受到打击失掉其根据地时，使虎视眈眈寻找机会的共军立即将其势力侵入该地区，取代蒋系军，确立了根据地。从此，华北的游击战便由中共军独占了。”（《中国事变陆军作战史》）
与此相类似的还有1942年5月至7月日军在晋冀豫边境作战，因未能捕获中共军队主力，而向易于捕捉之敌寻求战果，消灭了国民党军庞炳勋部。对这一结果，日本战史曾总结说：“这一行动，不仅有损于完成消灭共产党军这一主要目的，而且削弱了一直在阻止共产军势力向南扩大的残余蒋军，结果却使共产军方面坐收渔翁之利”，故“此次作战，或可谓为考虑不周的表现”。（《大本营陆军部》）
至1944年，情势再变。日本的军事作战陷入困境，不得不开始打通大陆交通线的一号作战，重庆军的“劣弱性”暴露无遗。国民党第10军死守衡阳与豫湘桂全线不堪形成奇异反差，以至于美国人担忧中国战线崩溃，一度曾想让史迪威将军担任中国军队的最高司令官，后因中共军队的奋战而作罢。
日军在与国共两军交手后，慢慢察觉“就中共的信念而言，他们是要一直战斗到日军完全从中国撤退为止的”。（《华北治安战》）
国军并不是这样。据冈村宁次回忆，当时一些国民党军将领投降后，“他们到北京或在当地初次见到我时就说：‘我们不是叛国投敌的人，共产党才是中国的叛逆，我们是想和日军一起消灭他们的。我们至今仍在接受重庆的军饷。如果贵军要与中央军作战，我们不能协助。这点望能谅解’”。（《冈村宁次回忆录》）由此，日军得出结论：“日本与重庆之间暂时处于战争状态，却有能够共存的性质。但是，日本与共产党势力之间则是不容共存的。”
随着美军进攻的紧迫，大本营预见到重庆会策应美军对日开始全面反攻，以及延安活动的激化，转而谋求离间重庆与延安，助长其互相争执。经过谈判，冈村宁次向蒋介石提出了一系列反共的建议，其中特别强调要将驻在中国的100多万装备齐全、建制完整的日军，趁尚未遣散之前用来进攻共产党。此举深得蒋介石的“嘉许”。日本历史学家臼井对此评论：与其说那是一次胜利者与战败者之间的会谈，还不如说是为了合作对付共同敌人——中国共产党的两个朋友之间的会谈。（《中日战争时期的通敌内幕1937-1945》）
本文主要参考日本防卫厅战史研究编辑、天津市政协编译委员会译的《大本营陆军部》、《支那事变陆军作战》、《华北治安战》，服部卓四郎著、商务印书馆出版的《大东亚战争全史》，信夫清三郎著、天津社会科学院日本问题研究所翻译的《日本外交史》，井上清著，商务印书馆出版的《日本军国主义》，根据日本外务大臣重光葵《昭和の动乱》一书摘译出的《日本侵华内幕》等。
