《太行山上》主要讲述八路军总司令朱德率领刚刚改编完的八路军三个主力师东渡黄河，挺进抗日前线，开辟建立太行山根据地的光辉历程。演员阵容除了汇集以往革命历史题材影片中熟悉的脸孔--扮演朱德的王伍福、扮演邓小平的卢奇等特型演员，片方还斥巨资邀请多位日本、法国演员加盟。
在日寇侵华战争中，华北地区因其战略位置的重要成为日军的主要突破口。八路军朱德总指挥奉党中央命令，率领刚刚改编的115师、120师和129师三个主力师东渡黄河，奔赴抗日前线。朱德见到阎锡山，表明我军抗日决心，要在平型关打一仗，并要求友军配合。只想“守土”的阎锡山，表面上答应配合却迟迟没有行动。兵力单薄、装备较差的八路军115师将士凭借赤子之心和顽强的斗志，在朱德总指挥的部署和林彪、聂荣臻的指挥下，在平型关伏击日军精锐板垣师团，将平型关十里大峡口变成了侵略者的大坟场！ 　　
　　 平型关大捷，沉重打击了日军的嚣张气焰，极大地鼓舞了全国军民的抗战热情，八路军得到山西人民的热烈拥护。随后，朱德总指挥派遣129师先遣团夜袭日军阳明堡机场，摧毁了日军的空军优势；同时调动120师伏击雁门关，袭扰日军的补给线……国民党爱国将领郝梦龄以身殉职！八路军独臂团长贺炳炎杀得浑身是血，雁门关依旧告急！日军占领太原城。已经取得良好开端的抗日形势发生了逆转。八路军奉命向南转移…… 　　
　　 八路军在晋东南发动群众，建立敌后根据地，主力部队跳到外线打击敌人。朱德、彭德怀、左权等只带少数警卫连队与敌周旋，处境十分险恶，几次与敌遭遇，但都化险为夷。在敌人后方，一间普通的教室内。东路军将领召开会议。衣着反差鲜明、战略意识各不相同的国共将领，一起共商抗日大计。朱德总指挥的幽默和深刻，不时博得双方将领的掌声……寒冷冬夜，朱德替刚入伍的小战士站岗，望着漫天飞雪，心中想到蜀中父老，吟下著名诗篇：“伫马太行侧，十月雪飞白。战士仍衣单，夜夜杀倭贼！” 　　
　　 塞外张家口，不甘失败的日本侵略者将希望寄托于山地战专家——“护国之花”阿部规秀。寺内寿一大将举杯：“阿部中将及诸君此次出师……一定会马到成功！” 　
　　 身负重任、气焰嚣张的阿部，掘墓焚尸；不仅残杀被俘的游击战士，还向被八路军释放的日本同胞举起屠刀！年轻的二等兵三木仰天大吼：“天皇殿下！八路军优待我们，皇军却杀害我们，这是为什么？”随即纵身跳入火海。河北黄土岭。八路军与阿部率领的日军激战正酣。阿部规秀被我军击毙。日军朝野震惊，哀叹：“名将之花凋谢在太行山上……”
　　 不断胜利的八路军，在太行山区站稳了脚跟，建立起巩固的革命根据地，使太行山成为中华民族的脊背