武帝是雄才大略的帝王，由于他的富于进取和野心，中国得以拓土开疆。但是他有令人望而生畏的特征：多疑。如果他觉得自己的王权受到了威胁的时候，他更能六亲不认并且杀人如麻。
在霍去病崭露头角之后，早已对卫青军权过大产生疑虑的刘彻毫不犹豫地开始重用霍去病、借此遏制卫青的气势。而卫青对此毫无怨言，也许是少年时吃过太多的苦，他的性情和善，谦恭退让，对武帝所做的任何决定都毕恭毕敬地接受。霍去病虽然年轻，性格豪迈有气魄，敢作敢为，从不泄露别人说的话。刘彻对他非常喜爱，甚至达到了纵容的程度。
然而，霍去病很早就去世了，这严重打击了武帝，也搅乱了他的计划。虽然卫青有军事天才更有出兵必胜的运气，武帝仍然不愿再起用他，以至于在霍去病死后很长一段时间里，汉朝都没有再次对匈奴用兵。
霍去病死后的元鼎元年，卫青的儿子宜春侯因犯法被夺去封爵。元鼎五年九月，疑心病越来越重的汉武帝以“列侯献黄金酎祭宗庙不如法”（其实只是助祭金的份量或成色不够）为由，一口气废去一百多名列侯的封爵，其中又包括卫青的另两个儿子阴安侯和发干侯。虽然对卫青已经不如以往，但是毕竟人还在，而刘彻仍然对霍去病念念不忘，甚至还抚养他的儿子霍嬗准备日后为将。卫子夫的皇后位置还是很稳。没想到两年后霍嬗夭折，又过了四年连卫青都去世了，虽然卫伉继承了长平侯的爵位，但是那已经不可同日而语。不过卫子夫的姐夫公孙贺此时已经当上了丞相，卫子夫母子的地位仍然算得上稳固。
然而祸不单行，征和元年的秋天，巫蛊之祸凭空而起。起因在于刘彻年老体弱，大白天看见刺客出现的幻象，又做了个被数千木人围攻的恶梦。不久之后，卫子夫不争气的外甥公孙敬声又犯了贪污罪。公孙贺为了保住儿子的性命，便请求以逮捕巨盗朱安世立功赎罪。朱安世被擒获之后，为了报复便向上告公孙敬声与表姐阳石公主私通，还说阳石与诸邑公主在后宫中行巫蛊之术。这份控告信正和刘彻的幻觉怪梦丝丝合缝，刘彻遂兴起大狱，派司隶校尉江充追查。
江充与郅都、张汤一样，都是著名的酷吏。然而至都虽名列酷吏，却执法刚正不畏权贵而且为国保土有大功，号为“苍鹰”；张汤则清廉自守，被朱买臣等人诬陷自杀后家产仅五百金，殓葬时有棺无椁（武帝得知后诛杀了朱买臣等人。张汤家风严谨，其子张贺即为汉宣帝的媒人，撮合了宣帝与许平君的婚事。张贺死在宣帝即位之前，宣帝为报答他，追封其为恩德侯，其七岁孙为关内侯，其兄张安世亦封侯且前后加食邑达万户。张安世遂辞去官职并且勤俭度日，宣帝对他的亲近远超过辅政大臣霍光。此后张家继续沿袭张汤的清廉谨慎作风，王莽篡汉时也不曾失去显赫的地位，东汉光武帝刘秀时仍然晋封张汤后人为武始侯。张汤家族成为有汉一朝的独一无二的人物）——然而江充是酷吏中的败类，他由于与太子刘据结怨，而开始处心积虑要颠覆刘据的地位。武帝将巨盗朱安世的案子交到江充手里，真是正中他的下怀。而在颠覆卫子夫刘据母子地位这件事上，江充更与贰师将军李广利是同道中人。
在卫青去世后第三年（太初元年，即公元前104），汉武帝听说西域大宛王国（今中亚费尔干纳盆地，乌兹别克斯坦、塔吉克斯坦和吉尔吉斯斯坦分别拥有一部份）贰师城外有一种“汗血宝马”，便派使者带着巨额黄金前往购买。然而大宛国王拒绝出售，使者破口大骂。被激怒的国王便命令郁成王在边境截杀了西汉使团，抢掉了所有的黄金。刘彻大怒如狂，正式起用李夫人的哥哥李广利为贰师将军远征大宛。结果李广利首战大败，只带着十分之一二的残兵逃了回来。刘彻想到从前卫青霍去病的战无不胜，看着李广利狼狈不堪的战报更是怒不可遏，下令他及所部有敢踏进玉门关的一律杀无赦。随后他继续增兵，直到李广利击败大宛国，大宛国臣民杀死国王求降、献出三千余匹汗血马为止。
李广利前后两战，付出十万士卒的性命，这其中大多数兵士并非死于战事，而是死于李广利不爱惜兵力，任意作践下属。然而刘彻装聋作哑，仍然封李广利为领八千户的海西侯，对李氏兄弟重用无比。李延年不争气，竟然在皇宫中淫乱，不久被武帝诛杀。李广利则有些心机，他将自己的女儿嫁给汉武帝兄长中山靖王刘胜之子刘屈牦做儿媳，为更好的机会铺路。而现在他终于等到了这个机会。
在江充的“深入调查”之后，长安城乃至各郡国前后共有数万人因巫蛊之事无辜被杀，到征和二年春夏之际，公孙贺一家连同阳石、诸邑公主，先后被杀。卫子夫失去了在王朝中最后一位有实力的亲属，还失去了两个亲生女儿。
——江充初战告捷，他的“工作成果”使李广利坐收渔利：他的儿女亲家刘屈牦随后被封为丞相。
接下来江充继续努力，将案情进一步扩大，一直查到皇后卫子夫和太子刘据的头上。他将他们所居住的宫室挖得如同菜地，卫子夫和太子连放一张坐榻的平地都没有。
卫子夫毕竟是三十八年的皇后，刘据更是拥有理政之权的太子，他们都受不了江充肆无忌惮的羞辱。等到江充居然“挖”出“证据”的时候，他们更恍然大悟，明白了他的险恶用心。于是刘据要求面见父亲申辩。然而这个再正常不过的请求却被江充一口回绝。面对这样的情形，卫子夫让刘据向少傅石德求救，石德说：“自公孙丞相和两位公主被杀之后到如今，形势再明白不过，江充和他的后台老板就是想要除掉你们母子。事已至此，只能逮捕江充一行，追查真相，免得他们去向皇帝胡言乱语，否则不堪设想。何况如今皇帝远在淳化甘泉宫，江充不让你去见皇帝，说不定还有更糟糕的原因——也许是要重演秦始皇驾崩、丞相和宦官秘不发丧，矫诏杀太子扶苏，另立新帝的故事了。”
仪和二年七月壬午日，皇后卫子夫与太子刘据在愤怒和恐惧中，听从了石德的建议，派人假冒武帝的使者斩杀了江充。但是在混乱中却没能将江充的同党一网擒拿，宦官苏文逃之夭夭，快马加鞭地跑去向武帝诬告皇后和太子谋反。
武帝不相信那个一向胆小懦弱不象自己的儿子，居然能有这样的胆子，又派了一个人赶往长安打听底细。结果这位调查员胆小如鼠，连长安城门都不敢进去，瞎转一圈之后便回来信口开河，说皇后和太子确实谋反，急着想当皇帝啊。
于是震惊之下的武帝不再犹豫，立即派刘屈牦率军去跟儿子决一死战。卫子夫和刘据到此时已是骑虎难下，只能跟武帝动起刀兵。但是他们没有兵符，只能持节调兵，但姜还是老的辣，武帝早已派人通知了精兵胡骑。刘据又持节前往监北军调任安的军队，但是武帝已经更改了节杖的规格，在原来的赤节上加上了黄旄，任安也同样拒绝了刘据的要求。调动不了正规军，卫子夫和刘据只得释放狱中囚犯、发动市民出来作战。八天后，长安城内死者数万人，刘据大败，只带着两个随同作战的儿子从复盎门逃亡。
获胜的武帝刘彻一面派人追捕儿子，一面派宗正刘长乐、执金吾刘敢前往未央宫，向卫子夫宣布诏令，收缴她的皇后玺绶，等待制裁。卫子夫已经无儿无女，更了解丈夫的无情，她拒绝再受任何羞辱，自杀身亡。——卫子夫的年龄史书没有详细的记载，假如她与负心汉刘彻同年的话，则死时已经六十六岁。
卫子夫死后不久，亡命河南的刘据父子也在八月辛亥日死于追捕。刘据死后，被称为“戾”太子。
在卫子夫和刘据死后，卫氏家族尽数被灭，刘据的幕僚与眷属也被杀光（只有一个数月大的婴儿刘询幸免于难），平阳公主的孙儿平阳侯曹宗也没有幸免（汉哀帝时，不知怎地找到一个曹参七世孙曹本始，复封平阳侯，到班固作《汉书》的时候，新平阳曹氏已更替七代侯矣）。而与卫氏沾亲带故有交情的侯爵、将领，包括不肯出兵帮助刘据的任安（他曾经是卫青的门客），都被抄家杀头，数以十万计的人死于非命。在这场大混战中为刘据出力的兵丁则举族流放敦煌，这一路拖老带少的颠沛流离，死人数目只会比十万更多。
自认为大功告成的苏文心花怒放，找来另一名宦官姚定汉作帮手，将卫子夫的尸首拖到小空房里，装进一具平民使用的小棺材，胡乱埋到长安城南桐柏地方。