跟第79军一样，第54军也是淞沪会战后期从第18军下辖的师升格变成军的。这个师就是第14师。在第18军以及整个土木系系列里，第14师是第一个被陈诚纳入第18军阵营的，陈诚亦曾兼任过该师师长，是以在某种程度上说，如果说第11师是第18军建军的基础，那么，第14师则是仅次于第11师的次核心队伍。为此，从第14师直接升格成军的国民革命军陆军第54军在土木系阵营里，也应该是仅次于第18军的基本战役集团。事实上，从第54军对日作战的历程来看，尽管它在起初的武汉会战中打得并不是太好看，却在腾冲之战中用铁的事实证明它确实是一支非常有战斗力的部队，几乎可以与第18军并驾齐驱。
第54军拥有第14师、第18师的阵容，参加了武汉会战。陈诚对第14师以至于第54军的偏爱，是要远远超过其他部队的。
有一点需要指出的是，打从抗日战争中诞生出来的国民党5大主力部队中，新6军也是从第14师，或者说是第54军的肌体上成长起来的。尽管新6军的基本力量还包括曾经在中国远征军第1路军旗下在缅甸抗击过日寇的新22师，但新6军剩下的两个师则由第54军的第14师、第50师空降缅甸而成。
在南昌会战、随枣会战、第1次长沙会战等1940年以前的长江沿线的大型会战中，第54军均为配合行动。因而，这一时期，要想找到与该军身份相配的对日作战情况介绍给诸位读者，几乎是难以完成的任务。
不过，这一时期，第54军的编制以及人事发生了很多变化，倒是很值得一提。首先是编制的变化。该军旗下的第18师被输送到第18军，成为第18军的直接下属部队，而先后吸纳了第50师以及第198师。其次是人事上的变化。最主要的是该军首任军长、原第14师师长霍揆章被提拔到第20集团军副总司令的岗位，空出来的军长职位由陈烈接任。
1940年2月9日，陈烈率领全军挺进红水河边，派遣先头团队成功地实施潜渡，占领了迁江一带。紧接着，第54军军属工兵部队趁夜搭造浮桥，使得全军迅速通过了红水河。随即，第54军将士在陈烈的指挥下，向日本侵略军发起猛烈反攻，先后收复宾阳、芦圩以及上林等地。
这时候，昆仑关守敌负隅顽抗，与中国军队形成对峙。为了彻底消灭该敌，再度收复昆仑关，第54军的主要任务是配合其他中国军队，展开打援围困和切断敌人的供应线的作战行动。经过近一个月的恶战，由于第54军等各部的齐心协力，中国军队终于再度攻下昆仑关，迫使敌人弃关南逃，龟缩在南宁城里。
将所属各部全部安顿停妥以后，第54军第2任军长陈烈因病去世。也不是什么大病，就是牙痛，请来一位曾留学法国的牙医给他看病。牙医给他拔了两颗磨牙，致使他在数日内面部肿大非常厉害，情况十分危急。于是，军部立即向重庆方面报告了这个情况。蒋介石遂派专机前来接他去重庆医治。谁知专机还没有到达，陈烈就不治身亡。
牙医见情况不妙，连医疗器具都没要，逃跑了，以致有人怀疑牙医是汉奸，被日寇收买，来谋害陈烈的。
陈烈一死，军长的位置就空出来了。蒋介石马上决定调原第18军军长、现军校教育处长黄维前去接任第54军军长。黄维当即请调被胡琏排挤出第11师的叶佩高随他赴滇任第54军参谋长。蒋介石当即批准了他的请求。随即，黄维赶到陈诚、罗卓英处，把他受到蒋介石召见的情况告诉了他们。陈、罗二人对黄维都很关心，分别提出了很中肯、很重要的嘱咐。随后，经周至柔特意安排，黄维、叶佩高一行于10月20日飞抵昆明，并于24日到达第54军军部。
从10月31日到12月下旬，黄维一行历时2个月，行程千里，走访了全军绝大多数连队，深入了解了部队装备状况、训练程度、官兵及军民关系、纪律与士气等实际情况。
为了努力提高部队的战斗力，叶佩高为黄维出谋划策。他得到了回报，1942年11月，原第198师师长郑挺锋调任第50师师长，黄维便推荐他继任第198师师长，使他重新执掌了军权。1943年9月，他率领第198师开赴祥云整训。同年12月，该师被纳入远征军编制，并于次年5月作为第54军右翼军参加了滇西反攻作战。
之后不久，黄维被调离军长岗位。集团军总司令关麟征将副司令张耀明派去接任第54军军长。紧接着，关麟征向第54军所属的师长下手了，准备把第198师师长叶佩高调去集团军司令部任参谋，由姚国忠继任该师师长。可关麟征的算盘没打响。叶佩高虽说不敢面对面地跟关麟征顶牛，却以再考虑为由婉拒了他。这个事情很快就传开了，立即引起了第54军官兵的不安。在副军长陈正模的授意下，第198师的骨干刘金奎起草了一份报告，由该师副官主任黄福荫亲自找第54军上校以上人员签名盖章，一式三份，分别寄往重庆陈诚、何应钦与蒋介石，希望他们主持公道。这一下，即使何应钦想继续在背后捣鬼也捣不成了，蒋介石一发话，张耀明马上就离开了第54军，该军军长由第18军第5任军长方天接任，该军随之很快调离关麟征属辖，调到昆明附近。