尽管高祖想方设法提高李建成的威信，但李建成还是辜负了高祖的厚望。他在东宫不习诗文，不理政务，整日无节制地饮酒，还搬弄是非，在兄弟之间制造不和。李纲对此非常不满，多次劝诫又不见成效，便在武德二年十二月，以年老体衰为由，辞职离开了东宫。

武德四年（），北方稽胡族首领刘仚成统率所部几万人骚扰唐朝边境，使许多百姓流离失所，一时间边关告急。唐高祖李渊命李建成统率十万大军前往征讨。最后，刘仚成被打败，并表示投降。不料，李建成竟以“恐有变乱”为借口，把已经投降的几千人全部坑杀。刘企成也被逼逃到了梁师都那里。这样，唐朝北方的边境并没有得到安定。因为这件事李建成处理不妥，高祖李渊对他的看法更坏了。

李建成的处境日益不妙，而李世民却逐渐受到高祖的重用。武德三年，李世民奉李渊之命平定了刘武周割据势力，收复了并州、汾阳广大地区。武德四年，李世民又奉诏消灭了窦建德和王世充两支劲旅，极大地巩固了李唐政权。这一年七月，当李世民胜利返回长安时，他身披黄金甲，后面紧随着二十五员大将和一万匹铁骑，鼓乐喧天，人声鼎沸，好不威风！李世民受到了高祖和满朝文武大臣的隆重欢迎。这时候，李世民已经滋长了当天子的念头。据说，在平定王世充时，李世民曾和他的谋士房玄龄穿戴普通人的衣服，拜访了一个名叫王远知的道士。道士在迎接他们时说：“你们两人中有个圣人，莫非是秦王吗？”李世民见道人认出了自己，便以实情相告。后来，当李世民、房玄龄告辞时，道士再三地叮嘱李世民说：“你就要做太平天子，望多多自重。”从此，道士的话就经常萦回在李世民脑海中。李世民这次凯旋而归，长安全城为之轰动，他感到无比骄傲，仿佛已经感受到那神圣的皇帝的威严。

李建成对李世民威望日益提高非常不安，便拉拢李元吉一起对付李世民。李元吉是高祖李渊的第四子，勇猛过人，也立过战功。但他骄淫放纵，名声不好。尽管如此，李元吉心灵深处也在想着皇位的继承权。他不止一次地私下均衡李建成和李世民的实力及影响，以便自己决定投靠哪一方。经过周密地考虑，李元吉、最后选择了李建成。李元吉认为，如果他跟随李世民，显然不能实现自己谋得帝位的野心，如果投靠李建成，或许还有得到帝位的希望。李元吉还想，只要先除掉李世民，再干掉李建成就易如反掌了，到那时，太子的位置也就唾手可得。正是出于这样的考虑，当李建成对李元吉有所表示时，李元吉立即站到了李建成一方。

李建成、李元吉为了给高祖李渊一个好的印象，就积极争取后宫的支持，和嫔妃们拉关系，给她们送礼物，在她们面前说李世民的坏话。这一办法果然见了效。原来后宫嫔妃对李世民的印象就不好。为什么呢？那还是在武德四年李世民打下洛阳以后，李渊派嫔妃们前往选阅宫人和府库珍宝。有的嫔妃乘机向李世民索取宝物，有的为自己的亲戚请求官职。由于李世民已经把宝物和官职分给了自己的部属，所以未能满足这些嫔妃们的要求，她们便对李世民产生了怨恨情绪，只不过长时间来没有发泄的机会。李建成给了后宫嫔妃们好处以后，后宫的势力便完全倒向了李建成、李元吉一边。从此，嫔妃们常在高祖李渊面前说李世民的坏话。

李世民当陕东道行台时，高祖李渊诏示他有权处理管辖内事务。当时，正好淮安王李神通有功，李世民便赏赐给他几十顷好地。后来，高祖妃子张婕妤的父亲看中了这些地，让张婕妤私下向高祖奏请，把这些土地赏赐给他。高祖不知这里的究竟，也没有向李世民了解情况，便写了一个手诏，让地方官把这些土地赏给张婕妤的父亲。张婕妤父亲拿着高祖的手诏，去向李神通要地。李神通以秦王李世民的教在前，对张婕妤父亲的要求和高祖的手诏没有理会。这下惹恼了张婕妤。一天夜里张婕妤陪侍，她乘机向高祖李渊进谗言说：“你赏给我父亲的土地，被秦王夺去给了李神通。”高祖听了大怒，第二天他召见李世民，捋起袖子斥责说：“我的手诏不管事，你的指令下面州县就能执行，这成什么体统？”高祖还叫着李世民的小名，对大臣裴寂说：“这孩子常在外边带兵，已经形成了专制作风，全是让那些谋士给教坏了，真不像我过去的那个儿子。”高祖还有一个宠妃叫尹德妃，她的父亲名尹阿鼠，是个仗势欺人、横行不法的家伙，许多人都吃过他的苦头。一天，李世民的部属杜如晦经过尹阿鼠家门前没有下马，尹阿鼠的家仆便一拥而上，把杜如晦从马上拉下来，又拳打脚踢地痛打一通，嘴里还不住地骂道：“你是什么人，敢经过我们府前不下马？”后来，尹阿鼠怕这件事高祖知道后会怪罪下来，便采取了恶人先告状的办法，让德妃禀奏高祖说：“秦王左右的人非常凶暴，他们竟敢欺负我年迈的父亲。”高祖听后大怒，也不进行调查，就把李世民召进宫中痛斥说：“你的属下竟敢欺负我嫔妃的父亲，对一般百姓，就更不知有多厉害呢！这还了得？”李世民站在一旁，几次想申述事实，都没被允许。此后，后宫的嫔妃们又乘机对高祖说：“你万岁以后，如果秦王得志，我们和孩子们肯定会被害死的。”一边说着，一边还哭哭啼啼。她们还对高祖说：“太子为人宽厚、慈孝，一定能养育我们。”高祖李渊听后，无限伤感。从此以后，他对秦王李世民越来越疏远和淡漠，对李建成、李元吉则越来越宠爱。

于是，李建成、李元吉勾结后宫嫔妃，加紧了对李世民的陷害。一次，李建成、李世民、李元吉兄弟三人跟随高祖外出打猎，高祖命他们骑马比箭。李建成故意让李世民骑一匹难以驯服的烈马，以至李世民反复三次，才把这匹马驯服。李世民对身边的宇文士及说：“他们想乘机害死我，但死生有命，对我一点也没有伤害。”后来李建成知道了这些，就让后宫嫔妃们告诉高祖说：“秦王说他有天命，一定会坐天下，怎么能轻易死呢？”李渊听后非常生气，在召见李世民时斥责道：“天子是上天决定的，不是耍一点小聪明就能得到的，你也太心急了。”李世民只好脱下帽子，向高祖请罪。恰好这时有人向李渊报告突厥人寇的消息，李渊才改换笑容，安慰李世民，并命他戴上帽子，准备出征。

有一次，李建成和李元吉请李世民到东宫赴宴，想乘机用药酒毒死李世民。李世民没有准备，举起酒杯一饮而尽。不一会儿，李世民突然感到胸口疼得厉害，接着就大口大口地吐血。幸好淮安王李神通在场，急忙把李世民扶往西宫，经过紧急治疗，李世民才脱离了危险。事后，高祖到西官探望李世民病，知道了他们喝酒的情况，对李建成说：“秦王不能喝酒，以后不准在夜间聚饮。”高祖还曾对李世民说：“你们兄弟不和，一个住东宫，一个住西宫，近在咫尺。我想让你出居洛阳，主管河、洛以东的地区，你的意见怎么样？”李建成和李元吉知道了这一消息，认为李世民如果到了洛阳，今后就会更不好除掉。于是，他们加紧策划害死李世民的阴谋。

武德九年，突厥侵犯唐朝边境。李建成和李元吉商量，要利用这个机会夺去李世民的兵权，进而谋杀李世民。于是，李建成提议李元吉挂帅出征。高祖同意了这个建议。李元吉又提出派李世民手下的大将尉迟敬德、秦叔宝等人一起去。高祖也同意了这个意贝。谁知，李建成、李元吉的密谋被太子率更丞（太子宫中的属官）王晊知道了，他偷偷地告诉了李世民。李世民立即和长孙无忌、高士廉、尉迟敬德等人商量对策。大家认为形势危急，祸在眉睫，只有先下手才是唯一出路。考虑到守卫玄武门的常何早已归附自己，李世民决定在玄武门伏杀李建成和李元吉。