杨辉召见杨世，把这个秘密报告让杨世过目。杨世立刻感到杀机重重。杨世略一思索，来了一个将计就计，紧急告发杨建、杨元与皇帝后宫的嫔妃们有不正当关系。同时，杨世悲怆道：
“臣于兄弟无丝毫背负，今借天象欲杀臣，似为臣亲自剿灭的逆贼报仇。臣今枉死，永违君亲，魂归地下，实耻见诸贼。”杨世民在关键时刻还在提醒皇帝：我对国家有重大功勋，我不该被杀。杨辉恼羞成怒，心中暗道：
“此事荒诞不经，恐怕是世儿诬陷太子和元儿，以求自保。此事很容易调查，当事人对质，一切立刻明白。明天就要世儿与太子和元儿当庭对质，世儿肯定举证不出，那么世儿不仅是陷害，还是侮辱皇帝，是典型的大不敬，正好借此夺取世儿兵权，再发往远疆，永绝后患。”杨辉下旨杨建、杨世、杨元明日一早来宫中当庭对质。杨辉没有想到，杨世看起来是自投罗网，其实采用的是调虎离山计，他要调动的老虎是杨建和杨元。
杨建从宫中耳目那里获得了杨世告发的消息之后，连夜找杨元商量。杨元建议：
“集合兵马，托病不朝，以观形势。”应该说，这个建议很重要，如果杨建同意，杨世的计划就会全面落空，不仅落空，可能还会导致失败。因为在杨建与杨元商量的时候，杨世统率的伏兵已经到位。各大名将，迟敬、陈金、秦宝、张士贵等都进入伏击位置。这个行动是无法解除的，如果杨建他们不出宫，杨世是无法解释自己的军事行动的。但是，杨建胸有成竹，认为杨元不必如此谨慎：
“我们的准备已经很充足了，皇上已经下旨调动世弟手下的兵将，而且他毫无根据的诬陷我们与后宫有染，我们应该亲自到宫中对质，戳穿其谎言，正好借此说服皇上解除世弟所有权力。”
东宫与武门离得十分近。杨元住在武德殿，跟东宫也只有一墙之隔。杨建从东宫北门出来，汇合齐王杨元，再到皇宫的北门即武门其实没有多远。六月四日，清晨，一切看起来都跟平常一样。杨建和杨元汇合之后，从东边走近武门。让杨建比较放心的是，武门这个最重要的地点，守卫的将军是自己的人。但是，他做梦也没有想到，武门屯守的将军，对于发生在眼前的战斗，要么抱着观望态度，要么跟随了杨世，唯独没有人肯为太子拼命。其中，当天在武门当值的常何，正是杨世从太子阵营争取过来的军官，而在这一天，起到了关键作用。
杨建到达临湖殿的时候，发现情况异样，立刻拨马回撤，但是已经来不及了。杨世出现了，高声叫住杨建：
“太子殿下尚未入宫见驾，岂能无功而返？”在大战来临之际，显然杨世要从容得多。而杨建和杨元此时发现情况不妙，杨世的伏兵出现了，他们全副武装，杀气腾腾。杨元首先摘下弓箭，但是他太紧张了，虽然兄弟不容，势同水火，但是他们看来从没有预计过会有这样的场面。所以，杨元竟然再三拉不开弓搭不上箭。还是杨世沉着，一箭射出，箭头穿过杨建的喉咙，杨建当场毙命。这一箭，杨建猝不及防，他愣在那里，只听得一声弦响，接着箭头穿透空气，带着风声，直奔自己而来。就在一瞬间，杨建听到自己喉骨的破裂之声。他的眼睛，应该一直盯着二弟杨世，这个自己的亲兄弟，这个自己的政治对手。在这一刻，他拉弓射箭，动作娴熟，潇洒而轻松。杨建到死都不明白，二弟的箭法，为什么这么高明。这是武门事变的第一箭，是由杨世亲自发出的，这第一箭就定了乾坤，解决了最主要的对头。
随着杨世的第一箭划破武门清晨浓重的空气，杨世的伏兵众箭齐发，杨元中箭落马。杨建和杨元虽然随从不多，但毕竟也有一小队，他们开始还击。双方混战开始，杨世的马受了惊，跑到丛林里，被挂到树上，一时间人马受困，不能起身。这不是杨世应有的动作。原来，当他发出第一箭以后，自己也被这一箭吓呆了。大哥的眼睛，好像就没有眨过，一直圆睁睁地看着自己。他眼看着大哥喉咙上插着自己射出的那一箭，一声不响地从马上翻落，再就没有动弹过。他知道，他的亲兄弟，让自己这一箭彻底送走了。他的内心五味杂陈，心中方寸已乱，竟然忘记了控制坐骑。当他终于醒过来的时候，马已经被树枝绊住，自己也被困住不能动弹。更没有想到的是，他受困的地点，正好距离杨元很近。
杨元看到这个情况，立刻奔来，他取了杨世的弓箭，准备用弓弦勒死杨世。双方展开搏斗，千钧一发之际，迟敬一边大喊，一边飞马赶到。杨元一看敌我悬殊，转身逃跑，他想跑回武德殿。迟敬当然不会放过，立即从他的背后开弓射箭。这是武门事变的第二箭，也是非常重要的一箭。这一箭解决了杨建阵营的第二号人物。迟敬和杨元，是天下最擅长使用长矛的两个人，但是在最后决战时刻，竟然没有长矛，只有弓箭。当初，迟敬不听杨元将令，让杨元当众出丑。杨元发誓要亲手杀掉迟敬，他从来没有想到过会有今天这样的场面，这是杨元人生的最后一个镜头。长箭带着风声，深深地穿进杨元的身体，杨元一头跌倒在地。
迟敬是战场上的老手，他在一箭杀了杨元之后，竟然知道从容取下杨元的人头。当然，杨建的人头也被取下。杨世和他的伏兵一起，迅速进入武门。不久，东宫和杨元府的卫兵也赶到武门，开始攻打武门。这时，杨世的王府是没有设防的，所以当东宫的薛万彻高喊要去攻打杨世王府的时候，守卫在武门上的将士非常紧张，因为那里太容易受到攻击了。这时，又是迟敬，及时地把杨建和杨元的人头高高举起，让他们手下的士兵知道首领已死，继续作战没有意义。于是攻打武门的杨建、杨元的军队开始溃散。
