1933年，年仅15岁的郑律成跟随三哥离开养育他的故乡，乘船到达中国南京，进入朝鲜抗日团体“义烈团”举办的“朝鲜革命干部学校”学习。
　　1934年，郑律成毕业，留在南京从事秘密抗日活动，但他从未放弃对音乐的挚爱。1936年春，郑律成谱写了他音乐生涯中的处女作———《五月之歌》。离弦之箭，一发而不可收拾。自此，他的音乐才思如涌泉水，得以淋漓发挥。
　　1937年8月13日，日本侵略者挑起了“八一三事变”。也就在这一天。19岁的郑律成结识了音乐家冼星海。在与冼星海交往中，郑律成为这位年轻的音乐家的爱国风范所折服，从而更加坚定了他用美妙的音符坚持抗战的决心。郑律成来到炮火隆隆的上海，投入到抗日救亡的宣传活动中，也就在此时，他结识了中国共产党人杜慧君，他第一次了解到中国共产党领导下的延安抗日根据地的情况，深感这是自己所向往的地方。在中共地下党的安排下，郑律成背着曼陀铃，怀揣《世界名曲集》，踏上奔赴延安的征程。
　　1937年10月，郑律成到达向往已久的延安，进入陕北公学。次年，又进入鲁迅艺术学院音乐系学习。
　　1938年春天的一个晚上，延安城里礼堂开晚会，第一个节目就是《歌颂延安》（即《歌唱延安》），由郑律成和女高音歌唱家唐荣枚齐唱。毛主席和中央首长们微笑地倾听着。唱完后，毛主席高兴地鼓了掌。这首歌，在当时虽然没有正式出版，但却迅速广泛地传唱开来，有多少热血青年就是唱着这首歌奔赴延安的！当时郑律成也没有想到这首《延安颂》有如此魅力。他后来回忆说：“我没有想到它却像长了翅膀一样，从延安飞到前方，从解放区飞到国统区，直到南洋和东南亚。” 此时，郑律成刚满20岁。
　　1938年8月，郑律成从鲁艺毕业，来到抗日军政大学政治部担任音乐指导。不久，又创作了著名的《延水谣》，这是继《延安颂》之后又一首优秀的抒情歌曲。他以陕北民间音乐为基础，谱写出这首唱来既亲切，又新颖的歌曲。这首歌一经传唱，风靡延安，直至全国。
　　第二年春天，郑律成和新分配到抗大搞时事政策宣传的诗人公木一道去探望来延安养伤的光未然同志。光未然兴致勃勃地向他们讲到正在和冼星海合作创作《黄河大合唱》的情况。郑律成听后很受鼓舞，并从中得到启发。访问归来，他激动地向公木建议：“咱们也合作写部大合唱！”“什么大合唱？”公木问。“当然是《八路军大合唱》啦！”年仅21岁的郑律成满腔热情一心想讴歌八路军，因为只有共产党领导的八路军才是坚决抗击日本侵略军的中坚力量。他的建议正中公木的下怀，两个人击掌为誓。不过当时他们都很忙，郑律成忙于到抗大各个大队教歌；公木忙于到各个连队或大队去作时事报告，有时他们相偕同行。郑律成就像一粒火种，走到哪里，哪里就爆发出烈火般炽热的歌声。每次集会，总是由他领着先唱，唱得群情激愤了，才由公木开讲；讲完后又唱，唱得尽兴了，方才散会。
     1939年7月，根据党中央的决定，抗日军政大学总校5000多人的队伍在副校长罗瑞卿的带领下，浩浩荡荡开往前方，延安留下一部分人另组抗大三分校。往日人声沸腾的抗大校舍顿时静寂下来。两个留在延安的年轻人就利用这段空隙酝酿写作《八路军大合唱》。此前郑律成曾为公木既成的诗歌《子夜岗兵颂》谱过曲，现在则由郑律成向公木提出命意，点出题目：“大合唱要写这么几个部分———军歌、进行曲、骑兵歌、炮兵歌，再写一篇《快乐的八路军》，加上已有的《子夜岗兵颂》，总共有个七八篇就行了。”郑律成还向公木提出具体要求。《骑兵歌》要写出嗒嗒前进的马蹄声；《炮兵歌》要写出轰隆隆震天响的气势；《进行曲》要长短相间，韵律谐和，节奏响亮，中间还要并排安插上几个四字短句，如此等等。富有才华为人又敦厚的公木立刻提笔创作，只要郑律成满意，就算拍板定案。