先说杨素。独孤皇后去世后，最伤心的当然是隋文帝，但是要说张罗得最辛苦的，还得说是杨素。杨素为什么辛苦？因为独孤皇后的葬礼就是他经办的。为了办得风光隆重，杨素也算是殚精竭虑。
葬礼之后，隋文帝还特地下诏褒奖杨素：“杨素经营葬事，勤求吉地，论素此心，事极诚孝，岂与夫平戎定寇比其功业！可别封一子义康公，邑万户。”“并赐田三十顷，绢万段，米万石，金珠绫锦称是。”杨素办这个事情办得费心费力，竭尽心力给独孤皇后选风水宝地来安葬她。要论他这份诚心，那是无与伦比的，功劳比平戎定寇还大。因此我决定，封他的一个儿子做义康公，另外给他一万户的食邑。从此，一万户人家的赋税，就不用缴到国库了，而是直接进入杨素的家门。
办一个葬礼，隋文帝居然认为比平戎定寇还要重要，而且给了那么多的赏赐，既说明隋文帝爱屋及乌，当然也说明杨素的用心程度。
但是，这次葬礼恐怕也是杨素在隋文帝一朝得宠的巅峰了。因为就在此后不久，杨素在隋文帝心目中的地位就开始下降。原因是有人弹劾他了。谁呢？大理寺卿梁毗。
就在仁寿二年（602），梁毗上书隋文帝，说：“臣闻臣无有作威福。臣之作威福，其害乎而家，凶乎而国。窃见左仆射、越国公素，幸遇愈重，权势日隆，搢绅之徒，属其视听。忤意者严霜夏零，阿旨者膏雨冬澍，荣枯由其唇吻，废兴候其指麾。所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图，四海稍虞，必为祸始。夫奸臣擅命，有渐而来。王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。季孙专鲁，田氏篡齐，皆载典诰，非臣臆说。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为外置，俾洪基永固，率土幸甚。轻犯天颜，伏听斧锧。”我听说，臣子是不允许作威作福的，如果一个国家允许臣子作威作福的话，那么必定天下大乱。现在我们国家有没有哪个大臣作威作福？当然有啊，这个作威作福的人就是越国公尚书左仆射杨素。他倚仗陛下的宠幸，权力已经大得没边了，所有的官员都要看他的脸色办事。我们整个官僚系统，其实都受他的指挥。这样下去，有一天他也会走上像王莽、桓玄那样奸臣、权臣的道路。希望陛下能够预先留心到这一点，鉴古知今，不要再给他这么大的权力，我知道我这话不中听，说出来也许您不喜欢，但是为了国家利益，我万死不辞。
当时杨素可是炙手可热的人物，首席宰相梁毗这样说，不是找死吗？果然，隋文帝大怒，马上把他抓了起来，亲自质问他，怎么可以如此诽谤大臣。
没想到，梁毗毫不畏惧，当面对隋文帝说：“素既擅权宠，作威作福，将领之处，杀戮无道。又太子及蜀王罪废之日，百僚无不震悚，惟素扬眉奋肘，喜见容色，利国家有事以为身幸。”我确确实实认为杨素是一个作威作福之人。我有充分的证据。陛下，请您想一想，当年您废掉太子杨勇和蜀王杨秀的时候，我们这些大臣，谁都觉得这是一件非常让人震惊、让人恐慌、让人难过的事，可唯独他越国公杨素，表现出一副扬眉吐气、志得意满的样子。为什么他会有这样的心态？他这是盼着国家有事，好抬升他自己的地位！陛下，这难道是一个忠臣应有的行为吗？
这席话一说出来，隋文帝真是傻在那里了。确实，此前隋文帝一直觉得杨素是在忠实地执行着自己的命令，替自己除掉了两个不肖子，所以才把杨素视为心腹重臣。如果按照梁毗的说法，杨素有个人野心蕴含在里头，那自己岂不是给杨素做了嫁衣裳？这让隋文帝不寒而栗。
另外，梁毗所说的臣子作威作福，必然危害国家，这也是隋文帝衷心认同的观点。把这两个因素叠加在一起，隋文帝对杨素的印象也就发生了改变。按照《隋书·杨素传》的说法，就是“上渐疏忌之”。渐渐地疏远猜忌他了。
隋文帝下敕说：“仆射国之宰辅，不可躬亲细务，但三五日一度向省，评论大事。”仆射是我们国家最重要的大臣，怎能去操心那些鸡毛蒜皮的事？以后你不用每天去上班办那些小事了，你三五天上一次班，管一管大事就可以了。
在古代，这是一条很古老的做法，叫作“外示优崇，实夺之权也”。国家哪有那么多大事要办？人的权威都是从日常工作中奠定起来的，现在隋文帝剥夺了杨素办理日常事务的权力，那实际上，他真正能管的事就很有限了，这是从杨素手里收权。
问题是，光收回杨素的权力还不够。要想让国家正常运作下去，还要扶植新的依靠对象。扶植谁呢？隋文帝越到晚年越猜忌，大臣都不敢信任了，儿子又不放心，综合权衡之后，隋文帝选择了自己的女婿柳述。因为柳述有三个优点。
第一，柳述出身河东柳氏，门望很高，本人又文质彬彬，比较有社会声望。
第二，柳述年轻，没有什么功劳业绩，所以一定唯自己马首是瞻。
第三，也是最重要的原因，柳述的妻子兰陵公主是隋文帝最心爱的女儿。
隋文帝夫妇一共生了五男五女，柳述娶的是隋文帝最小的女儿，小名就叫阿五，封号为兰陵公主。本来最小的女儿就容易受到父母的宠爱，何况兰陵公主也确实给父母争气。是上了《隋书·列女传》的人物，号称“美姿仪，性婉顺，好读书”，不仅长得漂亮，而且性情温婉，爱好读书，是一个知书达理、谨守妇道的人。这让提倡道德的隋文帝非常有面子，所以宠冠诸女。
既然喜欢女儿，爱屋及乌，连带着女婿也沾光，所以，柳述在女婿之中也最受宠。
现在，隋文帝要削弱杨素的势力，就选中这位宝贝女婿取而代之了。让他当吏部尚书，同时参掌机密，整天跟着自己，俨然就是沟通朝廷和宫廷的桥梁。
问题是，柳述上台，对杨素意味着什么？意味着大大的不利。因为兰陵公主和柳述两个人都和杨素有私人恩怨。
对兰陵公主而言，杨素曾经间接害死了她的第一任公公。兰陵公主一生嫁过两个丈夫，第一个丈夫叫王奉孝，是隋初大臣王谊的儿子。王谊和隋文帝是太学同学，隋文帝篡周，王谊也衷心拥护，所以，隋朝建立后，王谊被封为大司徒，还跟隋文帝结成了儿女亲家。
可惜，结婚没多久，王奉孝就去世了，兰陵公主刚刚十三四岁就成了寡妇。王谊看了很可怜，就给隋文帝上书，请求让兰陵公主提前除掉丧服，改嫁算了。
这本来也是公公的一番好意，没想到，却被人弹劾了，说是不知礼数，败坏名教。谁弹劾的呢？就是当时还担任御史大夫的杨素。
隋文帝提倡礼教，杨素这么一弹劾，隋文帝就狠狠地批评了王谊一顿，这让王谊觉得没面子透了。于是心灰意懒，整天在家发牢骚，还找人算命。这么高的身份，又发牢骚，又算命，当然触犯了皇帝的大忌，所以，开皇五年（585），隋文帝干脆把他赐死于家。这也是隋朝初年诛杀功臣的大案。虽然史书没有明确记载兰陵公主有什么反应，但是想来，她对于逼死公公的杨素应该也没有什么好印象。
那柳述跟杨素之间有什么恩怨？杨素奚落过柳述的爸爸。
柳述的爸爸和杨素是一辈人，当官的经历也差不多。但是，隋文帝篡周的时候，柳述的爸爸和叔叔都没有明确表态支持，所以隋朝建立之初，有点不得志，到外地做官去了，而杨素因为立场明确，所以任职中央。
这本来也没有什么，但是，杨素为人轻狂，有一天隋文帝赐宴，杨素和柳家兄弟都位列其中，杨素就借着酒劲奚落柳述的爸爸和叔叔说：“二柳俱摧，孤杨独耸。”你看，原来咱们差不多，现在你们这两棵老柳树可被我这棵钻天杨给比下去了。
这当然是句俏皮话，问题是说得太轻浮了一点，柳述的爸爸一言不发，当然，酒席也就不欢而散。就这样，杨素和柳家也算结了怨。
既然杨素和兰陵公主以及柳述都有过节，现在，柳述得宠，当然不会让杨素好过。据史书记载，柳述最喜欢做的事情就是当众折辱杨素。
举个例子。柳述是吏部尚书，杨素是尚书省左仆射，本来是上下级关系，柳述做出的批示都要经过杨素审核方能生效，如果杨素审核有问题，按照规定，可以要求柳述改。可是，柳述偏偏不买杨素的账。每次杨素向柳述提出什么修改意见，柳述都一律驳回，而且直截了当地对使者说：“语仆射，道尚书不肯。”去告诉杨仆射，就说我柳尚书不肯改。
这不是要把杨素气死吗？可是他也没办法，明摆着，柳述有人撑腰。就这样，一边收权，一边分权，原本在开皇末年叱咤风云的大功臣杨素在仁寿年间被冷落了不少。