李元吉失了眉州兵权，灰熘熘地返回了成都。这对于野心勃勃的李元吉是一个重大的打击，因为这不是简单的被夺权的事，而是意味着李渊对李元吉能力的不信任。在这紧要关头，被贴上一个能力不足的标签，想再获得军权，就很困难了。
李元吉也意识到这一点，如一只暴怒的狮子一般，将整个军帐砸了一个稀巴烂，以发泄怒气，可木已成舟，即使他再歇斯底里，亦没法改变此事。
返回眉州的李元吉，愤愤不平。
可李渊现在对于巴蜀的内乱焦头烂额，恨不得全部的精力都用在平乱上，可没有精力在意李元吉的心情。也就是李建成劝了李元吉两句，承诺过段时间会向李渊举荐，帮着李元吉重新领军。
但福无双至，祸不单行。
李元吉回到成都没两日，李世民在眉州大破獠人的消息便传来。
现在的李世民有多次兵败的经历，因此在李唐内部，也只能算一个有能力之人，并未被神化。所以对于李世民迅速平乱，大家的想法不是李世民能打，而是眉州獠人太弱。
獠人未开化，中原王朝亦从未将其放在眼中。
所以李世民迅速平乱和之前李元吉连战不胜立刻形成了一个鲜明的对比，在所有人看来，李元吉就是能力不够，才未能平乱。
再加上李元吉风评本就不好，当初丢了太原，就是因为李元吉的临阵脱逃。
所以很快众人便形成了一个统一的意见，李元吉空有一副坏脾气，实则无能的很。
此评越来越广，连李渊和李建成都怀疑，这李元吉是不是真的没多少脑子，根本不会领军。
面对这个说法，李元吉恨不得杀人以泄愤。他自问勇武过人，天赋卓绝，虽古之名将亦不可比。虽然有败，但也只是时运不济而已。
至于李世民，败仗不比他大吗？凭什么还能被父亲委以重任。
李元吉甚至想告诉每个人自己的本事，让他们知道自己的能耐，可惜只能想想而已。表面上，大家对他还是客客气气的，让李元吉有气无处撒。
李元吉三番五次地去找李建成，请求李建成帮他再次领兵，可李建成也不太敢再用他，只得委婉拒绝。
连李建成都不信任他，这让李元吉很受伤。
因为全身精力无处发泄，李元吉只得整日打猎游玩。李元吉爱好打猎，号称“宁可三天不吃东西，不能一天不打猎”。当初跟宇文歆的矛盾，就是因为打猎而爆发的。可惜李元吉丢了太原，也没能改掉这个恶习。
原本还有李渊、李建成约束他，可现在所有人的目光都在平乱上，李元吉如脱缰的野马一般，四处游猎，践踏农田庄稼，公开掠夺百姓财物，简直如土匪一般。
可惜没人敢管，即使有人弹劾，也被裴寂给压下，美其名曰“勿使唐王分神。”
李元吉更疯狂了，西到灌县，北到绵竹，到处都有他肆虐的身影。
这天李元吉来到青城山打猎，中午歇息的时候，便遇到了学道的李密。
李密自当初邙山兵败之后，带着残部入蜀投奔了李渊。李密归唐，李渊大喜，拜李密为光禄卿，封邢国公，还将表妹独孤氏嫁给了李密，称呼李密为弟。
可惜对于李渊来说，李密是头勐虎，可以用他千金买马骨，收服人心，但真若是对其委以重任，那是不行的。
于是李渊将李密旧部等人一一调出，分化瓦解，使得李密空有光禄卿的高位，却无一点实权。
光禄卿在秦汉之时属于御林军总管，但到了大隋，专司皇室膳食，辖太官、肴藏、良酝、掌醢四署，也就是个天子司务长了。
油水或许不少，但权利是真没有。
这对于野心勃勃的李密来说，如何能接受。
于是心有不甘的李密便准备以返回中原招抚旧部的名义叛逃。
可惜李密还没准备行动，便有旧部示警，言“李渊正严密监视，若其一旦有异动，立刻处置。”
这把李密吓得，倒是再不敢逃了。
从成都出蜀，各处险关要地，李渊要是不允他离开，李密飞也出不去。
此事之后，李密眼看李渊对其不放心，为了打消其戒备，便放飞自我，不理政事，亦不和旧部接触，整日里以学道求仙的名义，四处寻访道观。而作为道家名山的青城山，李密更是隔三差五的来，一来就是半个多月，都快把青城山当作自己家了。
李渊刚开始当然不相信李密是真的寻道，于是天天派人紧盯着他。但之后李密果然像是一个政治的失意者一般，不再过问政事，一门心思做起了道士。不管是日常监视还是李渊发起的试探，皆没有发现异常。
时间一长，李渊也就不太注意李密了。
毕竟李渊事多，哪能天天盯着李密一个人。
李密不愧是一个顶级的智者，他虽然不断地寻仙求道，但亦没有放下心中的理想抱负。而且在不断的求道过程中，让他在瓦岗产生的燥心渐渐消解，他的心性也变得更加的稳健和坚毅。
随着黄明远在中原的屡战屡捷，李密也不想着再重返中原。
以他的力量，回去也没有容身之地。
于是李密再次打起了鸠占鹊巢的主意，李渊年级大了，时日无多，只要他掌握了李唐的权利，再凭借巴蜀天线，以他的能力，必然能挡住明军。
不过李渊老辣，定不会给李密这个机会。
李建成、李世民也是一代英杰，不会让他架空，于是李密便将目标放在了文不成、武亦不成的李元吉身上。
在李密看来，李元吉除了有点蛮力，一无是处，以其为主，简直是对自己的侮辱。可越是如此，李元吉越容易被他控制。
于是李密便故意制造一些机会和李元吉相遇，还投其所好，获取对方的好感。时间一长，李元吉还真记住了李密，且对其印象不错。
今日青城山再见，李元吉便客气地邀请了李密两句，本来只是随口说说，可没想到的是，李密竟然真的来了。