1936年1月，毛泽东决定遣军东进，打到山西去，武装宣传抗日救亡纲领。彭德怀有些担心，一怕红军渡不过黄河，二怕东渡黄河后在国民党军阻截下回不了陕北。因此，他打电报向毛泽东提出，要绝对保证部队同陕北根据地的联系。对此，毛泽东满脸不高兴，他见到彭德怀后气冲冲地说：“你去绝对保证，我是不能绝对保证的。”
话虽是这么说，在背后，毛泽东还是嘱咐林彪到黄河边去勘测水文，调查敌情，制定渡河计划。
黄河以东是山西“土皇帝”阎锡山的天下。阎锡山把山西视作自家花园，连外境的一只野兔也不愿放进。为此，他和蒋介石、冯玉祥等人曾经大打出手，尸横遍野。到最后，连蒋介石也奈何不得这位“阎老西”。1935年冬，他一听说红军到了陕北，就沿黄河东岸十多个县构筑了明碉暗堡，普遍实行闾甲、连坐制度，发誓不让红军将半步跨过黄河。
东征前，林彪来到黄河西岸，对东岸敌人的工事设施、兵力配备、火力配置进行了观察，选定了红一军团和红十五军团的渡河点。
1936年的春天来得特别早。才2月份，黄河就已开始解冻，白天黑夜，沿河上下，到处可以听见“咯吱”“咯吱”的冰块崩裂声。鉴于这一情况，林彪建议渡河方式由冰上抢渡改为船渡。
2月19日，毛泽东来到红一军团前线指挥部。正遇上林彪、聂荣臻、左权在争论谁的手表时间准。在红军中，每次总攻之前，部队常常为时间准确与否扯皮拉筋，有时上级批评下级延误了时间，下级不服，说按照我们的表还提前了哩。这是因为当时红军指挥员戴的手表都是在战场上缴获过来的敌人的手表。式样各异，新旧不一，快慢不同。见大家又为这个简单的老问题争个不休，毛泽东说：“给各个部队发报，渡河时间不可参差，一律在20号20时开始，以聂荣臻的表为准。”
红一军团二师五团是渡河左翼先遣队。先遣队先将小船由通向黄河的港汊里悄悄地划出，推到水深处，然后载人直向黄河对岸划去。这夜，没有月亮，没有星星，只听见黄河的咆哮和冰块撞击木船的声音。接近对岸的时候，枪声如炒豆般地响了起来，偷渡变成了强渡。红军战士迅速登岸，投入战斗，很快突破了江防，向纵深推进。26日，阎锡山组织晋军反攻，企图把红军赶回河西。林彪率红一军团主动迎敌，击溃了晋军独立第二旅，打了渡河后的第一个大胜仗。
3月下旬，红军以十五军团为左路军，二十八军和三十军为中路军，红一军团和十五军团八十一师为右路军，兵分三路，向山西腹部进军。
红一军团作战区域是汾河流域。当时，晋军大部被红十五军团牵制于北线，无力抽兵南下，只得眼睁睁地看着红一军团深入汾河富庶地区。
汾河，是山西的天堂。这里的地主除拥有大量土地、羊群外，往往宅第连云，几乎占半个村子，几十匹骡马，连杂色的都没有，把从陕北来的红军战士看傻了眼。山西财主喜欢把金银财宝埋在地下窖起来，红一军团的战士们很快学会了根据敲打地面的声响来判断窖藏所在位置的方法。在这里，红一军团扩红发展迅速，补充了五千名新战士。对这一点，林彪特别高兴。
一天，毛泽东打电报给林彪，告诉他红十五军团在北线作战艰苦，伤亡过大，加上处于山区，筹款、扩红等工作开展得不理想，希望红一军团能够拨点兵力给十五军团。
“我还有几个鸟兵?!”林彪气呼呼地把电报摔到桌上，大声说道：“不给，不给。就说没有，不给。”
聂荣臻看完电报后，向师团一级的干部们了解了一些情况。下边的干部们也反映部队编制还不健全，人员也不满额。聂荣臻找林彪商量后，打电报给毛泽东，汇报了自己部队员额未满的实际情况，请求免拨。看到政委和他观点一致，林彪脸色稍缓。
1936年4月，蒋介石派十个师分两路进军山西，阎锡山也派五个师另两个旅南下，以图南北夹击，形成包围之势。毛泽东鉴于红军东渡黄河作战目的已经达到，遂挥师西进，撤回陕北。
1936年5月，毛泽东在延川县大相寺主持召开红一方面军团以上干部会议，对红一军团的本位主义观念进行了严肃的批评。这主要是指红一军团拒绝拨兵补充红十五军团的事。顿时，会场上的目光都集中到了林彪和聂荣臻身上。林彪一向以不苟言笑、沉默寡言著称，这次，他索性一声不吭，无动于衷地望着寺外的几株古柏，把问题全推给了他的政委。
作为政委，聂荣臻主动地向大会作了检讨，承担了责任。这种处理问题的方式，在他们的共事中屡见不鲜。林彪的精明，有时正表现在他的沉默上。
这年夏天，中央军委颁布命令，林彪调任红军大学校长，任命左权代理一军团军团长，聂荣臻仍任军团政委。这一调动，对林彪是奖励，还是微惩，人们议论纷纷，但大多倾向于后者。人们知道，1934年以来，林彪与毛泽东的分歧之处太多，有必要煞煞他的锐气。
红一军团为他们的军团长举行了简朴而又热烈和隆重的欢送会。政委聂荣臻在致词时，绕开了他们之间的争论和分歧，热情地赞扬了林彪在红一军团工作期间的建树和功绩。
但是，林彪没有对此表示出应有的大将风度。他仍然对与聂荣臻之间过去发生的不悦耿耿于怀。他对聂荣臻说：“我们在一起搞了几年，现在要分手了。过去我们之所以发生分歧，是因为我们看问题的着眼点不同。你是从组织上考虑的，我是从政治上考虑的。”
聂荣臻笑了笑，然后严肃地说：“你这个说法不对。你把政治上和组织上绝对对立起来，完全不对头。我们之间争论的许多问题，都是政治问题。现在你要走了，又扯这些问题，再扯几天也扯不清楚，还是等以后有机会慢慢谈吧。今天我们主要是欢送你，不谈那些不愉快的事情。”
不欢而散。军团长和政委就这样分手了。第二天，林彪带着警卫员，离开了红一军团，踏上了去红大的路途。
中国人民抗日红军大学(简称“红大”)始建于1936年6月1日，这是毛泽东为即将全面展开的抗日战争准备干部力量而采取的一项战略措施。按照中央的规定，各军团从军团长到连排基层干部，都必须在红大进行轮训，以求充分利用全面抗战爆发以前的有利时机提高红军自身的战略战术水平。毛泽东希望红大能办成第二个“黄埔军校”，为此，他挑选黄埔军校毕业的林彪来担任红大校长。林彪也常以“校长”之誉而自勖。
红大校址最初设在瓦窑堡。1936年6月21日，国民党第八十六师高双成部突袭瓦窑堡，红大即随中央机关撤出瓦窑堡，迁至保安县城。
就在这场突袭事件中，林彪有过一个因惊吓过度而偶尔失态的插曲。这件事是罗瑞卿讲的。他的女儿点点在《非凡的年代》一书中，首次披露了这件事：
由于陕北红军和地方部队没有及时赶到，敌人突然袭击了瓦窑堡。第二天，父亲随林彪到瓦窑堡的后山去观察地形，看看我们有没有收复瓦窑堡的可能。
袭击瓦窑堡的敌人部队大部分都是陕北人，是很熟悉地形的，他们隐蔽得很好。父亲他们估计到这一点，在接近敌人的时候就很小心地弃马步行。但是狡猾的敌人还是远远地发现了他们的行动。“噼噼啪啪”，一排冷枪打过来，父亲大吃一惊。这倒不是因为敌人突然打枪，而是他看见林彪随着枪声仆倒在一块大石头的后面。他想，糟了，一定是林彪负了伤。他就赶快向林彪靠拢。
他还没有爬到林彪藏身的地方，忽然又听见林彪在大声地喊，那声音又尖厉又凄凉，完全变了腔，又走了调。细心分辨，才听出林彪喊的是“校长要马呀，校长要马呀……”这时候，父亲还以为是林彪真负了伤，走不得路才大喊要马。
可是，把马牵过来，目标更大，更危险。父亲拉着林彪往回走，几个警卫员也闻声赶来架着林彪往回撤。直到林彪爬上马背，大家才明白他一点伤也有。
红大进驻保安城地，极目四望，除了荒山野坡，破窑乱洞外，到处是野草乱石，遍地是羊屎马尿。当地一首民谣这样唱道：
保安穷山窝，
破洞比房多；
菩萨比人多。
就在这样艰苦的环境中，林彪带领他的学员——那些身经百战、备尝艰辛的红军指挥员们，开始了紧张的学习和生活。
红大第一期学员全部来自于中央红军和十五军团，绝大多数是经过长征的骨干。他们分为三个科。最引人注目的是第一科。
第一科有三十八个人，都是红一方面军团以上领导。他们在1955年我军初次授衔时，最低军衔也是中将，其中比较有名的有罗荣桓、罗瑞卿、谭政、彭雪枫、陈光、杨成武、刘亚楼、张爱萍、苏振华、黄永胜等人。这是一个名副其实的“将军科”。据统计，第一科学员平均年龄二十七岁，人平有伤疤三处。如果把蒋介石对这些大名鼎鼎的学员悬赏金数额加在一起，总数竟超过了二百万银元之巨。
红军大学有许多独一无二的地方。正是他的特殊魅力，吸引了美国记者埃德加·斯诺。他被毛泽东特许，来红大采访林彪。
埃德加·斯诺是进入共产党、红军控制的区域进行采访的第一个西方新闻记者。斯诺笔下的林彪是个什么形象呢?
腼腆好羞，擅使计谋诡术以及和毛泽东保持着无以言喻的亲密关系。这，就是林彪给斯诺留下的深刻印象。