桓温早就有篡晋夺位当皇帝的野心了，他曾经叹道：“男子不能流芳百世，亦当遗臭万年！”按照桓温的计划，他先通过北伐树立威望，邀买人心，然后再逼晋帝退位，但攻前秦的长安，因缺粮而退；伐燕国的邺城，又在枋头大败。这回桓温恢复实力，收复寿春之后，又问郗超：“凭我现在的实力，还能够再次北伐，一雪枋头之耻么？”
郗超回答：“您的实力还达不到。”桓温遂闷闷不乐。郗超知道桓温的心思，于是对桓温道：“虽然您现在担天下重任，但由于北伐失败，如果不能立下不世之功，则不足以镇民望。”
桓温道：“我也在为这事儿发愁呢，你说怎么办？”
郗超道：“伊尹放逐太甲，霍光废黜昌邑。明公要立大威信，使四海信服，也应当学习他们。”
“我早有此心，可是皇帝没什么过错，我找什么理由废掉他呢？”
“没什么过错，就给他找出点儿过错来。宫门深幽，最能让人相信的是床笫方面的事。您可以说皇帝阳痿，他的儿子全部是他的宠臣相龙、计好、朱灵宝等参侍内寝的大臣所生。仅凭此一件事，必可废掉他！”
桓温大喜，先派人去造谣，等朝野之间传得沸沸扬扬的时候，桓温带兵入京，对褚太后说，因为皇帝有痿疾，要废掉皇帝。
太后大惊：“不会吧，那为什么有田氏和孟氏为皇帝生有三男？”
桓温假装吃惊道：“您没听说么？现在朝野都知道，这三个孩子是皇上的宠臣相龙、计好、朱灵宝等所生。此三臣经常和皇上在一起，甚至夜不出宫，这事很有可能。”
太后被桓温也给弄懵了，遂道：“那就凭你处置吧。”
桓温从太后那里诓到了太后懿旨，遂废司马奕为东海王，另立相王司马昱为帝。朝中百官并非没有反对的，但桓温带兵入朝，杀气腾腾，哪个敢说半个不字。桓温废掉司马奕后，把田氏、孟氏及其所生的三子杀掉，相龙、计好、朱灵宝也被满门抄斩。司马奕被强迫离开都城，迁到吴县西柴里居住。司马奕害怕桓温暗害自己，竟然不敢让自己的妻妾怀孕，每日只是饮酒睡觉，忍辱求生。
桓温废立晋君之后，回到姑孰，把郗超留在京中把持内政。司马昱被推上皇位后的第二年即病亡，年五十二岁。司马昱临终遗诏称：“大司马桓温依周公居摄政事。少子可辅者辅之，如不可，君自取之。”意思是由桓温来控制朝政，如果桓温愿意，也可以取而代之当皇帝。
司马昱之所以下这样的诏书，是怕桓温将来篡位加害自己的子孙，干脆从法律的形势上确定桓温当皇帝的合法性，这样桓温也就用不着加害他们了。但侍中王坦之坚决反对，甚至把司马昱的遗诏撕得粉碎。
司马昱叹口气道：“天下，本是我祖无意中得来的，你又何必阻止呢？”
王坦之反驳道：“天下是宣帝、元帝的天下，皇上您又凭什么让给他人呢？”
在王坦之的坚决要求下，司马昱又改遗诏为：“家国事一禀大司马，如诸葛武侯、王丞相故事。”就是说只给予桓温相当于三国诸葛亮一样的权力。桓温并没有擅断朝政的权力。
司马昱死后，朝臣不敢立新皇，要去向桓温请示。谢安、王彪之、王坦之坚决按照司马昱的遗诏，拥太子司马曜即皇帝位。
郗超凭自己在朝中的力量没办法阻止三人立新君，于是跑到桓温那里告状说：“本来司马昱并无此遗诏，您可以趁此机会控制朝政，甚至得到皇位。但这样的好事全让谢安、王彪之和王坦之给搅黄了。”
桓温也非常失望，听了郗超的话，立刻以觐见新帝的名义，带大军去京城。大军到了京城南十二里地的新亭，然后请谢安和王坦之出城来见，并埋下伏兵，打算一言不合，便把二人杀掉，然后带兵入京，强行夺权。
谢安、王坦之是司马昱遗诏中三位顾命大臣中的两个，如果除掉此二人，或者把此二人争取过来，桓温便可在朝中为所欲为。太后及百官包括王坦之都很害怕，只有谢安道：“晋朝的存亡，在此一行。”
谢安和王坦之到了新亭，只见桓温大军兵营整肃，杀气腾腾，随行人都吓得脸色苍白，就连王坦之也很紧张，连手版都拿反了。只有谢安谈笑风生，神情轻逸。与桓温相见之后，谢安笑道：“我听说如果诸侯有道，则四邻都是可以帮你防守的朋友，你又何必在墙后面藏这么多士兵呢？”
桓温十分尴尬，立刻撤去所有伏兵。谢安先把桓温大大地吹捧了一顿，称：“别说是武侯诸葛亮、丞相王导，就是历史上的伊尹、周公在世，也比不上您啊。”几句话拍得桓温很是舒服，然后两个人就司马昱的谥号、庙号，祭拜陵寝的日期等事进行了商量。
桓温遂和气地进入建康，处理司马昱的丧事，扶立新君。桓温忽生大病，一连十数日卧床难起，病好后，却不离开京城，而且向谢安和王坦之提出一个要求：要九锡之礼。
九锡是九种礼器，是天子赐给诸侯、大臣有殊勋者的九种器用之物，是最高礼遇的表示。在桓温以前的封建王朝中，只有王莽、曹操、司马昭和孙权接受过九锡礼，其中王莽、曹操和司马昭篡位，孙权也称了皇帝。于是，加九锡成为权臣建立威信，当皇帝的铺路石。
谢安当即道：“凭您的功劳别说是受封九锡了，就是禅受皇位也未尝不可！您只管回去，这事包在我的身上。”
桓温很高兴，带着军队离开建康回去了，王坦之则很生气，责问谢安道：“九锡是异常之礼，一旦相加，则晋室危矣。你怎么会轻易许诺？”
谢安笑道：“我如果不许给他，他怎肯便离京城？我跟你说实话吧，我略懂医道，看桓温病情沉重，这几天的精神头是回光返照。也就是说他活不了几天啦。不知道他能不能等到加九锡之礼的时候呢。”
王坦之恍然大悟，不得不佩服谢安智谋远在他之上。
桓温回到姑孰，果然又病倒在床，病情一天比一天重。桓温怕自己等不到九锡的日子了，便时时派人去京城催问。谢安和王坦之今天推明天，明天拖后天，一直拖了两个多月，实在是推不过去了，便让吏部郎袁宏草拟诏命。袁宏是当时东晋写文章最好的人，妙笔生花，文采过人。当天接到任务，当天就完成了，马上交给谢安，得意扬扬地等谢安夸奖。
哪知道谢安随便扫了一眼，便让他修改，也不说改什么，只说不好。袁宏这次不敢大意，想了三天才敢动笔，将文章写得更是花团锦簇一般，但谢安仍是不满。如此多次，一连改了二十多天不能定稿，袁宏基本上要崩溃了。他于是向王彪之请教。王彪之笑道：“你写的文章很好，哪一篇拿出来都可以用。不过你好笨啊，现在大家都知道桓温就快病死了，谢公这是在等桓温的死讯。你着急什么？”
袁宏这才明白，回去以后便开始随便写两笔，让谢安看了，回去再改再交，如此反复，不觉又是一个月。到了宁康元年（373）七月，桓温病情突然恶化，他知道自己不行了，遂让弟弟桓冲接替他的位置，并且告诫桓冲和自己的几个儿子道：“以你们的才能，绝不是谢安的对手，所以今后再不可对晋有异心。”当月桓温病亡，享年六十二岁。
桓温死后，谢安大喜，立刻让袁宏随便拿出一篇诏命书稿来，提请皇上同意后，给了桓温加九锡的赐礼。桓温死后方得到这一称号。
桓冲则被封为中军大将军，都督扬、豫、江三州诸军事，扬、豫二州刺史，镇守姑孰，这个权力仍然很大，但比桓温在世时要小多了；又以王坦之为中书令，王彪之为尚书令，谢安为尚书仆射、领吏部尚书。三人共辅朝政。
郗超不甘心就这样失去一次谋大事的机会，便劝桓冲带兵进京，杀谢安和王坦之，执掌东晋朝权。桓冲不但断然拒绝，还辞去了扬州刺史的职位，向朝廷表示忠心。朝廷遂以桓冲为都督徐、豫、兖、青、扬五州诸军事及徐州刺史，镇守京口；以谢安兼扬州刺史。东晋的局势从此安定下来。
苻坚听说桓温病亡，便要出兵江南。王猛道：“桓温虽死，还有谢安！现在要伐江南，还有困难。不过，现在东晋的军事力量大多集中在东边。谢安忙于朝政也无力西顾。咱们可以先取梁、益二州！”梁州和益州不仅包括汉中巴蜀之地，而且拥有北至陕西南部，南到云南的整个地区，也就是当年三国蜀汉刘备所辖治的地区。先攻取这个地方，再统一天下，正是西晋司马炎一统全国的战略部署。苻坚于是命益州刺史王统、羽林左监朱肜、陇东太守姚苌率兵三万出汉川；前禁将军毛当、鹰扬将军徐成率兵三万出剑门，以杨安为元帅，作总指挥。
梁州刺史杨亮把守汉中，杨亮的儿子杨广把守阳平关，这两处关隘都比较险要。王统知道强攻不一定能成功，遂兵分两路，分取两关，但到了关下，并不攻关，而是日夜擂鼓喊杀。然后派人化装成商客到两关分别放风说另一关隘马上就要被攻下了。杨亮于是亲自率兵去救阳平关，杨广则率兵去救汉中。两军相遇之后，这才知道上当了。因阳平关留守士兵比较少，杨广立刻带人去救阳平关，路上被王统手下大将朱肜、姚苌伏击，杨广和杨亮拼命杀出重围，转头奔向汉中。但汉中已经被秦军攻占，杨亮只得带兵由汉水退到荆襄。王统的军队攻取梁州之后，便分兵派朱肜、姚苌帮助毛当、徐成攻打剑门。
剑门由梓潼太守周飏把守，毛当和徐成攻打二十多天不能攻下。姚苌本是姚襄的亲弟弟，便借着哥哥的名义假称投降晋国，与周飏约好晚上举火为号，自己和周飏里应外合，偷袭秦军的大营。周飏竟然相信了姚苌的诈降，晚上见关下秦军营中到处燃起火来，杀声大起，于是亲率一支军队开关去攻秦营。周飏刚入营中，便中埋伏，损失惨重，后路被断，根本无法回关，只得弃关带兵退守梓潼。剑门因为留守士兵太少，当天便被攻下。
杨安又带兵进攻梓潼，梓潼无险可守，周飏刚遭大败，手下又没多少部队，再败，退到涪城。周飏担心涪城也守不了多长时间，便令部下刘仁带三千骑兵护着自己的母亲家小回江陵。但刘仁半路上被秦军所劫。杨安将周飏母妻家小押到涪城城下，逼迫周飏投降。周飏不得已，只得献城。
益州刺史周仲孙，听说剑门、梓潼两关皆失，杨亮、杨广退到荆襄。认为自己的实力无法与秦军抗衡，遂带兵退守南中（今云南、贵州和四川西南部），其他晋军退守至巴东（今四川开县、万县以东）。
秦国基本上完成了对巴蜀的战争，再向南中进攻没有军事意义，如果向东进攻，则将不可避免地与晋军的主力军决战，并且会进入一个相当长的消耗战时期。秦国还没有做好这方面的准备，遂停止进兵。
苻坚在王猛的辅佐下，将秦国治理得不错，国力强盛，人民安康。但王猛积劳成疾，于宁康三年（375）六月病危。苻坚为了治好王猛的病，不仅派了最好的御医，并且亲自去拜宗庙，祭上天，祈求黄河、五岳诸神，特赦死罪以下罪犯。但王猛还是在一个月后病亡，时年五十一岁。王猛临终前给苻坚提出最后一个建议：不要攻打东晋，集中精力肃清国内鲜卑、西羌的力量。
王猛死后，苻坚对天痛哭道：“这是上天不想让我一统天下啊！”苻坚按照汉大将军霍光的规格安葬王猛，又谥王猛为“武侯”，这本是诸葛亮的谥号，苻坚以此来说明王猛在他心中的地位。
王猛死后，前凉的张天锡又开始与东晋接触，准备向东晋称藩。苻坚便以这个理由进攻前凉。他先派尚书郎阎负和梁殊去诏请张天锡入长安，同时派苟苌、毛盛、梁熙、姚苌等率十三万大军分四路陈兵边境，同时命秦州刺史苟池、河州刺史李辩、凉州刺史王统作为预备军。如果张天锡拒绝来长安，便立刻发兵。
张天锡是个很梗气的人，他问前秦的这两个使者：“你们是想站着回去呢？还是想躺着回去？”
阎负和梁殊一听张天锡语气不善，遂反问道：“您是想奉诏去长安呢？还是不去长安？”
张天锡道：“我本是晋朝之臣，世代忠义，岂肯奉秦贼的诏？”
阎负和梁殊二人一听，估摸着张天锡是已经下定决心让他们躺着回去了，都很惊讶。阎负说：“你们凉国曾经向刘汉和石赵称臣，后来又向我大秦称臣，凭什么自称世代忠义？”
梁殊也叹道：“可惜凉州自先祖武公莅凉以来，历经八世七十多年，如今却要亡在你的手里。”
无论二人如何劝说，张天锡已经是下定决心和前秦翻脸了。他让士兵把两个人绑在军门，然后招来士兵，一齐向二人射箭。张天锡说：“凡是不能射中二人的，一定是有异心。”士兵们一齐去射二使，竟然没有一支箭射偏。射完之后，两个人就像全身长满了刺一样。
前秦得到二使被射杀的消息，便开始进攻。苟苌先派扬武将军马晖、建武将军杜周，西出恩宿（今甘肃永昌南），截断张天锡逃走的路，然后派姚苌、梁熙、王统及李辩四路兵马从清石津渡黄河，进攻河会城（黄河与湟水会合处）。前凉骁烈将军梁济战败投降。
苟苌也带一支军队由石城津（今兰州西北）渡黄河，与梁熙等四部会合后，猛攻缠缩城（今甘肃永登南），很快攻下城。前凉的主将马建虽带兵五万，却不敢出战，而是退守清塞（今甘肃石浪境）。同时张天锡又派征东将军常据率军三万进驻洪池岭（今甘肃武威南），自率军五万屯金昌（今甘肃永昌北）。三军形成三足之势。
不久，姚苌与马建决战。马建失败后虽然仍有一定的实力，但他无心再战，率一万余人投降，剩下的凉兵不愿投降，全部溃逃。苟苌攻入洪池，常据兵败后不愿投降而自杀。
张天锡再派司兵赵充哲率最后的一支军事力量与前秦军战于赤岸（今甘肃武威东南），整整打了两天。凉军再败，四万人只剩下一千多人，赵充哲战死沙场。此时张天锡只有一万多人了，他仍然坚持，准备坚守金昌城。这时金昌城内发生叛乱，张天锡只好带三千骑兵逃回姑臧（今甘肃武威）。很快前秦军又追到姑臧，张天锡知道自己无力再战，只好出降，前凉灭亡。时晋太元元年（376）八月。苻坚以梁熙为凉州刺史，留守姑臧。把凉州有势力的豪族七千余户迁到关中，封张天锡为归义侯，拜北部尚书。
前秦灭凉的时候，东晋桓冲派兵攻秦以分散秦军的兵力。兖州刺史朱序、江州刺史桓石秀与荆州督护桓罴进攻汉水流域，豫州刺史桓伊从寿阳向北进兵，淮南太守刘波以水军从淮河向山东进攻，但各路军队都没取得实质性的进展。前凉被灭后，东晋所有军队又撤回防地。
到这个时候，北方诸国只剩下代国没有被前秦兼并了。
代王猗卢死后，代国内乱不断，代王王位在很短时间内几经易手后，最后落到拓跋贺傉头上。贺傉的母亲是拓跋猗卢的弟媳妇惟氏。惟氏一直执掌代国朝权到324年病亡后，贺傉才有机会亲政。贺傉仅亲政一年便病逝，其弟拓跋纥那继王位。
拓跋纥那与哥哥文弱懦弱的性格大不相同，他性格刚猛又好用兵，很快统一了各部。但327年，纥那与石虎打了一仗，纥那大败，只得迁都大宁（今河北张家口）。329年，贺兰部及其他各部酋长拥立纥那的堂侄，也就是拓跋郁律的儿子拓跋翳槐为代王。纥那带兵镇压，兵败后逃往辽东的宇文部。拓跋翳槐成为代王。
公元335年，翳槐和当年拥立他的舅父贺兰部酋长贺兰蔼头发生矛盾，并引发战争。纥那趁机从宇文部返回，再次被拥立为代王，翳槐则逃到后赵。公元337年，翳槐在后赵将领李穆保护下来到大宁，夺回代王位。纥那逃到前燕，后不知所终。
晋咸康四年十月，翳槐死，遗命其异母弟拓跋什翼犍为代王。拓跋什翼犍继位时十九岁，在位时进行了大规模有利于国家的改革，并且不参与中原的战争，国力得到发展，在位三十余年，其疆域发展到东起秽貊（今黑龙江嫩江流域），西到破落那（今中亚的亚费尔干纳盆地），南达阴山（内蒙古自治区中部到河北省西北部），北至沙漠，人口近百万。
苻坚灭凉之后，便以幽州刺史、行唐公苻洛为北讨大都督，率十万军队进攻代国；又命后将军俱难、镇军大将军邓羌、尚书赵迁、李柔、前将军朱肜、前禁将军张蚝、右禁将军郭庆等分领共二十万大军，与苻洛联攻代国。
代国虽然中兴，但力量仍然不能与前秦相提并论，代王什翼犍又在重病之中，病得连路都走不了，根本没办法指挥战斗。代军屡战屡败，代王什翼犍只好向秦国称藩。苻坚于是撤兵。此时为太元元年（376）十二月。
秦兵撤退后，代国立刻发生了叛乱。
当年拓跋翳槐死后，遗命立什翼犍。可是当时什翼犍正在后赵当人质。各部落酋长认为什翼犍难以返还，就准备拥戴什翼犍之弟拓跋孤，拓跋孤拒绝，并自愿前往后赵作为人质以交换什翼犍。后赵天王石虎被其情义所感动，干脆把两个人都送回国。什翼犍对这个弟弟也很感激，于是继位后便把国土一半封给拓跋孤。但拓跋孤死后，代王并没有让拓跋孤的儿子拓跋斤继承这块庞大的封地。于是拓跋斤对什翼犍产生了仇恨，一直等待机会报复。这时，什翼犍连遭大败，又沉疴难愈，拓跋斤认为机会来了。
什翼犍原来立嫡长子拓跋寔为王储，后来长孙斤发动兵变，拓跋寔与之交战，杀死长孙斤，自己也重伤不治而亡。什翼犍很喜欢这个儿子，又因为儿子为护己而身亡，便一直没有立嗣。什翼犍其他几个儿子便都一直觊觎世子的位子。拓跋斤向代王庶长子拓跋寔君表示愿意拥立他为代王，并且说代王将立慕容妃之子为嗣，让他早点下手。拓跋寔君为了夺代王位，与拓跋斤联兵发动政变，杀死父亲什翼犍，又把几个弟弟全部杀死，只有最小的弟弟拓跋窟咄得以逃脱。
正在镇守边境的秦军将领李柔和张蚝趁势带兵攻破云中，擒住拓跋斤与拓跋寔君。苻坚了解到代国内乱的原因后，便将拓跋寔君与拓跋斤押入长安，然后用车裂的酷刑杀死。苻坚派人查找什翼犍的子孙，只有什翼犍的小儿子拓跋窟咄和什翼犍的孙子拓跋珪还活着。苻坚遂命将这两个人及其家人全部送到长安。其实就是把代国有地位的王族当做人质。
代国的旧臣燕凤担心代国从此再没有复国的机会，于是说拓跋珪留在代国有利于牵制刘卫辰。刘卫辰是匈奴部落，苻坚利用他统治北部黄河以西诸民族。但刘卫辰脑后有反骨，一会儿叛秦投代，一会儿叛代投秦，苻坚对此人也很头疼，但也不得不利用他的威信来使北方安定。苻坚所以听从了燕凤的话，让代国旧将刘库仁奉养拓跋珪母子，将拓跋窟咄迁入长安，送入太学读书。拓跋珪时年五岁，后成为北魏王朝的开国皇帝。
至此，秦国完全统一了北方，并且还占有了西南之地，比当年三国时曹魏的国土还要大许多，但前秦的天下之志还没有实现。