1976年可谓是个“多事之秋”，随着唐山大地震，中国的政治生活也发生了一系列强烈“地震”：毛泽东去世、“四人帮”倒台……毛泽东去世时我正在郑州参加全国围棋赛的预赛。河南省委书记刘建勋对围棋很支持，河南围棋能搞起来，出了刘小光，就是因为他把罗建文等人弄到河南，培养出了这些人。当时他也想把我调去，我也很想去，河南总比黑龙江离家近，再说刘建勋和我们家是世交，同我的关系也不错。可惜没有办成。后来说刘建勋和“四人帮”有牵连，我是完全不能相信的。我跟他一块下棋、闲聊时，他骂“四人帮”多了，而且骂得很难听，特别是对江青，王八蛋都骂出来了。他亲口对我讲过一件事，有一次在人民大会堂吃饭，江青带着浩亮、刘庆棠等人远远地进来，江青开始讲话，一派胡言。
刘建勋说，当时他听了都在那儿发抖，这不是公开给毛主席丢人吗！他对江青恨透了。
我还认识一个叔叔苏民，是黑龙江省军区副政委，彝族人。他夫人叫张玉，在延安时和我妈妈一个班，同班的还有李伯钊、江青、叶群等人。由于这种关系，我在哈尔滨时，也就是1974年之后，每星期他都接我到他们家吃饭，过周末。那时他胆子也真大，经常骂江青和张春桥。我对“四人帮”那么反感，就和他们有关。可后来他也被打成“四人帮”的爪牙，我就无法理解。其实我看这里面有冤案，他主要是没看清毛远新。当时毛远新是沈阳军区政委，还兼毛主席的联络员。
由于毛泽东的去世，1976年的全国比赛也终止了。
1977年我仍然代表黑龙江队参加全国比赛，在个人赛中我再次获得冠军。陈祖德因参与清查“四人帮”的活动，没有参赛。
在团体赛中却出了问题，有人指责我们黑龙江队作弊。事情的经过是这样的。由于比赛是在哈尔滨举行，所以组委会的主要负责人是由黑龙江省体委主任担任的，许多具体工作也由黑龙江体委组织落实。当时王加良负责编排比赛程序，据说他在这方面很有一套。在抽签之前他曾问我，把哪个队排在你们一个组里最有希望。我说福建队。这次团体赛一共只有十二支代表队，分六个小组进行预赛，只要小组出线，即可进入前六名。
按我们黑龙江队的水平来说，除了我之外，其他四名选手很差，根本进不了前六名，这我心里是非常清楚的，除非我们和比我们还弱的福建队分在一个组。
抽签结果真的就和福建队分到一个组，开始我自己还觉得挺幸运。可是没想到这一下引起全国围棋界的意见，都来找我说，你怎么作弊呀！凭良心讲，我没有作弊，抽签仪式我都没去，根本就不在场，而且我平生最讨厌作弊。可是抽签前我确实说过福建队是我们最想碰到的对手，怎么会这么巧？真是有嘴也说不清了。
这件事后来闹得很大，全国各代表队都指责我们，甚至还刷了大字报，当然矛头不是指的我，而是黑龙江省体委的负责人。后因查无实据，不了了之，我们也如愿获得了第六名。
事后我想可能是作弊了，至于在裁判长和各队队长都在场的情况下怎样作弊我搞不清楚，也没有证据，只是猜测而已。不管怎么说，这件事就像吃了只苍蝇，让人心里特别扭。
1978年的全国比赛是在郑州举行的，这次陈祖德参赛，我输给他。但他输给别人几盘，最后我以总分第一获得冠军，他得第二名。这个时期只有陈祖德对我构成威胁，其他人都差了一截。但这年马晓春参加比赛，我看他不错，收他做了徒弟，那时叫“一帮一，一对红”。他那年刚满十四岁。
另外还有一名年仅十岁的女孩张璇，我也注意到了。如今她已是八段棋手，成为女棋手中的佼佼者。
1979年赶上第四届全运会，围棋赛也列入全运会。这年我仍然代表黑龙江出战。在个人赛中我一盘没输，获得全胜冠军。团体赛我们获得亚军，这有点出乎我的意料。
从1975年到1979年，可以说是我的全盛时期。在此期间，我一次又一次地击退了优秀棋手们的挑战，把全国冠军的桂冠死死地抓在手中。在国家围棋集训队的内部训练赛中，我创造过二十三连胜的出色记录。在对日本棋手的比赛上，亦有突出表现。于是，棋界人士把这五年称作“聂卫平时代”。
然而在这期间，有一个对手最让我头疼，他就是四川队的黄德勋。从1975年到1980年的全国团体赛上，我连输他六盘，这也是创了纪录的，所以有人称他为“聂卫平的克星”。
黄德勋年纪与我相仿，但资格比我老得多。他的棋凶猛好杀，极善计算，是“力战型”的代表人物之一。按说1975年时他的实力和我已有一些差距，平时训练比赛，他几乎赢不了我，可是一在全国比赛中相遇，我就会糊里糊涂地输给他。头两次失利，我心里十分恼火，因为都是在优势很大的情况下输掉的。尤其是1977年在哈尔滨举行的全国比赛我对他的那局，简直使我哭笑不得。
当时我决心报1976年的“一箭之仇”，所以执黑棋也下得非常谨慎，很快就把他逼入绝境。白棋一个大角被“点死”，胜负已成定局。可他紧锁双眉，抱头苦思，就是不肯认输。难道他还有什么高招不成？我疑惑地又把局势仔细地分析了一遍，确信他已“难逃法网”，就满心欢喜地等他停钟认输了。就在这时，他忽然走了一步谁也没料到的怪着，居然把这个角走成一个“后手死”，然后拼命缠绕攻击我外围的两块黑棋。其实这种怪诞的下法，对他来说是出于无奈，我还有不少胜机，但急躁之下，我到底还是昏头昏脑地败下阵来。
以后每逢全国比赛遇到他，我心里就打鼓，越想赢越赢不了。以致在后来的比赛时，如果第二天是黄德勋，便会有人来给我打气：“明天对黄德勋，你可得留神啊！”并且当天晚上的话题也全是围绕着这件事，反而弄得我心里更发毛。第二天果然又输了。
对于我总是输给黄德勋，棋界议论纷纷，有的人说我轻敌，有的人说黄德勋运气好，还有的人说是棋风的关系，认为黄德勋的棋专克我的棋，换句话就是一物降一物。对此我也甚感不解。后来黄德勋在《围棋》月刊上发表的一篇文章上，一语道破真情。他写道：“聂卫平确实比我棋高一筹，但他背着冠军的包袱，一方面急于求成，想很快取得优势；另一方面，想利用技术全面的优势，稳中取胜，这原是两种互不相容的心理，撞在一起，枪法就有些乱了。而我没有任何包袱，一上来就竭力拼杀，所以常常能乱中取胜。”细想一下，此话果真有道理，我确实是输在心理上。
另外我还有一件输给他的事，不为外人所知。1973年刚集训时，有一次食堂吃饺子，我那时刚从农场回来，饭量特别大，而且我从小就喜欢吃饺子，所以一下子吃了七十个。这时黄德勋也说他吃了七十个。于是旁边有人撺掇我们比赛，看谁吃得多，先吃到一百个。我当时也是年轻气盛，看黄德勋个子比我小，肚子肯定没我大，就答应了。我们吃一个，旁边的人就给数一个，我吃到第九十四个时，他连吃了两个，我实在吃不动了，当场认输。事后我觉得很奇怪，他怎么能吃九十六个呢？肯定是前七十个有水分。
这件事当时过去也就完了，可是十五年之后，1988年，方毅副总理在一次全国发奖大会上，开始还表扬我，说着说着突然之间对我提出严肃的批评。他说他在报纸上看到我跟人赌吃饺子，这怎么可以呢？！他说：“你不能因自己的兴趣就可以不注意自己的身体，你的身体并不单纯属于你个人，国家培养你不容易，你应该对国家负责。”方毅的话对我感触很深，使我明白我自己不能随心所欲地乱来。后来我很自律，比如我从来不赌博，凡是赌钱的东西我绝对不沾，包括打麻将，玩可以，只要带钱，哪怕是一角钱，我也不打。再比如喝酒，你比我厉害就厉害，我也不比。一是自己注意身体保养，二是不要给国家造成不必要的负担。
我和黄德勋的关系不错，他赢了我非常得意，而且正是在我“独往独来”之时。我真正翻过身来是1981年，我克服了心理障碍，彻底击败了他，以后再也没输过他。这件事给了我一个教训，切不可小看心理因素对棋局胜负的影响。