1934年12月1日，是基洛夫的一个正常工作日，也是他生命中的最后一天，这也是即将席卷全国的镇压狂潮掀开序幕的一天。这一天傍晚，当基洛夫走进列宁格勒州委机关所在地斯莫尔尼宫，向州委第二书记办公室走去，当他在走廊里停下脚步开门时，一颗子弹射中他的脖子。他摇晃一下，转了半个身子，就一头栽倒在镶木地板上，鲜血从伤口里向外冒。
凶手尼古拉耶夫是内务部的工作人员，而且有证据表明，在这次谋杀之前，他曾几次企图暗杀基洛夫，企图靠近基洛夫时曾被其警卫人员逮捕。可奇怪的是，不久之后刺客就被内务部释放了。这引起了基洛夫警卫人员的警惕，但内务部告诉他们，这事用不着他们去管，并以收缴个别警卫人员的党证相威胁。最后刺客带着武器再次潜入斯莫尔尼宫，惨案就此发生。诡异的是，在基洛夫遇刺时，平时戒备森严的列宁格勒州委大楼空无一人，不见一个警卫；基洛夫遇刺倒地后，大楼警卫人员就像从地底下冒出来一样突然出现，将凶手按倒在地。
更令人奇怪的是，基洛夫的警卫队长被提去接受审讯，他是被用有篷的大卡车接走的，里面还有几个手持铁棒的契卡（“肃清反革命及怠工特设委员会”俄文缩写的音译）人员，一人坐在司机身旁。不久，基洛夫的警卫队长死了。当时医生做了“鉴定”，指出他是因车祸而死。他们当中有些人活到苏共二十大时才说，鉴定书是被迫做出来的，警卫队长是被很粗的铁棒打死的。
从基洛夫被刺案的发生，以及整个侦查过程可以看到，有一只有力的手，在指挥着整个事件的进行，这绝非尼古拉耶夫的个人行为。因此，无论斯大林是否指使过这次谋杀，他都会最大限度地利用这件事消灭他的对手。
当时，基洛夫由于自己的才华，在全国的影响力不断增长，到1934年时成为党内仅次于斯大林的人物，享有很高的声望。而且他独立性强，才能出众，善于团结工人，坚持自己的观点，不会附和斯大林的意见，并且有时能赢得多数票。斯大林的猜疑与嫉妒就此爆发。而共产党一些领导人对日益严重的个人崇拜及经济建设中的问题感到不安，于是在第十七次党代会上，酝酿着选举基洛夫来取代斯大林，担任党的总书记职务。斯大林对此感到十分震惊。
所以，1934年的斯大林，已将“基洛夫被刺事件”变成他树立党内绝对权威以及建立完全独裁统治的一个最重要步骤。因此他需要制造舆论，把手中的剑挥向他的敌人——一大批党内优秀干部，以及大批无辜的人。而在以后，他又把执行他命令的这些凶残的刽子手处决，以平息一些人的仇恨。斯大林的阴险罪恶由此可见一斑。虽然目前没有直接证据证明斯大林是这一谋杀行动的主谋，但他却充分利用此事件，使基洛夫被谋杀成为大清洗的导火线，成为20世纪30年代苏联肃反运动的开端。
“特别程序”危害大
1934年12月1日晚，根据斯大林的建议，苏联中央执行委员会和人民委员会通过《关于修改各加盟共和国现行刑事诉讼法典的决议》，规定对各个加盟共和国现行《刑事法法典》在“侦查和审理恐怖组织，和对苏维埃政权工作人员进行恐怖活动有关事宜”进行如下修改：凡属恐怖组织和对苏维埃政权工作人员进行恐怖活动的案件，侦查工作不能超过十天；控告结论在正式开庭审判前一昼夜交给被告；原告、被告双方都不参加审判；不接受判决上诉书和豁免请求书；极刑判决被宣布后立即执行。
当时，很多干部没有意识到他们在接受这个严酷与专横决议的同时，也为自己挖掘了坟墓。这是斯大林战胜敌方、清洗大批党内干部最有力的武器，因为这些人已经没有什么能保护自己了。斯大林再指挥内务部时就可以为所欲为、肆无忌惮，任何人都可以被说成是人民的敌人，是阴谋集团成员。
这个后来被称作“特别程序”的规定，为政治清洗中采用非法手段罗织罪名、迫害异己打开了方便之门，成为斯大林随心所欲清洗政治对手的工具。此后，肃反运动被逐步推向高潮。
当时，斯大林的一名亲信——苏联总检察长维辛斯基叫检察官们放心，不要有任何顾虑。他在1937年3月份一次检察工作会议上宣称：“大家应该记住斯大林同志的话，在社会生活中，在我们自己的一生中，总有这样的时刻——法律成为过时的东西，而应该被撇到一边。”他又从学术上论证了一个前提：“即在国家的罪行中，被告的口供是最重要的和决定性的证据。正因为如此，内务部才不惜以一切手段逼取口供。”
1934年12月22日，苏联政府发表侦查基洛夫案的通报，首次提到有一个名为“列宁格勒总部”的恐怖组织，说尼古拉耶夫就是这个组织的成员，该组织主要由季诺维也夫-加米涅夫等反对派成员组成。12月27日，苏联政府公开关于“列宁格勒总部”的控告结论，确认基洛夫被杀是该组织指使所为，并说谋害基洛夫是该组织谋害斯大林和党的其他领导人的长远计划的一部分。在立即处死尼古拉耶夫后，1935年1月15日对“总部”主要成员进行了审判，季诺维也夫等人坚决否认自己与基洛夫案有任何牵连，尽管拿不出证据，法庭仍判处季诺维也夫有期徒刑10年，加米涅夫有期徒刑5年。
接着，苏共中央向全国党组织发出秘密信，要求各地动员所有力量深挖敌人，由此开始了遍及全国的大逮捕，制造了无数冤案。清洗名单是逮捕人的重要依据。保安机构要负责提出“可疑分子”的名单，并按照一定的标准把他们加以分类。根据苏共第二十次代表大会上公布的材料，在大多数情况下，这些名单斯大林都亲自过目，由他或他最亲密的同事，例如莫洛托夫、卡冈诺维奇、马林科夫或伏罗希洛夫，来决定名单上那些人的命运。