洪武四年（1371年）正月，李善长告老还乡，汪广洋升为中书右丞相，胡惟庸继续作为他的属官留任。然而汪广洋的运气实在太差，在此之前辅佐他的杨宪一门心思要将他赶出中书省，而这一次辅佐他的胡惟庸根本就没有拿他当回事。
中书省的好多事情，胡惟庸自己就可以拍板做决定，根本就不用告知他这个名义上的中书左丞和后来的右丞相。经过了上次罢职流放的折腾，汪广洋就抱定一个原则：凡事没有原则就是最大的原则，对中书省的事务概不过问。
汪广洋越是缩头不争，胡惟庸就越是要步步紧逼。
到了洪武四年，刘基和李善长一前一后告老还乡，一对冤家就这样双双离开了朝廷。在中书省昏暗的灯光下，就剩下了汪广洋和胡惟庸朝夕相对。朱元璋实在忍受不了汪广洋的碌碌无为，让他压制杨宪，他反而被赶出京师；让他主持政务，他又拱手将权力让给胡惟庸。
洪武六年（1373年）正月，朱元璋以“无所建白”的理由罢免了汪广洋右丞相的职务，并将其打发去了遥远的广东行省当参政。转而让胡惟庸以中书左丞的职务把中书省的工作全都名正言顺地接了过去。
汪广洋以为真正离开权力中心，就可以落得逍遥自在。但是朱元璋并不这么想，没过多久又将其召回京城，让他做了左御史大夫。让汪广洋这样性情懦弱之人当监察部门的负责人，对于急于揽权的胡惟庸来说是最好不过的事。
果然，汪广洋在左御史大夫任上和他以前在中书省毫无区别，一无建树，丝毫没有影响到胡惟庸的相权。
且说汪广洋被派往广东后没过多久，胡惟庸与李善长的关系又递进了一步。在两人的包办之下，胡惟庸的侄女与李善长的侄子结为了夫妻。如此一来，胡、李二人就变成了间接的儿女亲家。有了这层亲戚关系，胡惟庸俨然已成为李善长在朝堂上的代言人，支使起李善长的旧部也是得心应手。
大概也因为这层姻亲关系，使得胡惟庸和朱元璋的关系也更加密切。
这一年的七月，胡惟庸升为中书右丞相，实至名归地主持中书省的政务。此时的中书省，自从李善长退休以后，左丞相的位置一直空缺着。徐达虽然一直兼着右丞相的头衔，但是他为人谨慎，又加上常年带兵在外，政务方面也是只占位置不问事。如此一来，右丞相胡惟庸就变成了真正的独相。一人之下，万人之上的感觉让人如此迷恋。
死了杨宪，走了汪广洋，又和李善长结为亲家，胡惟庸的风头无人可及。随着权势的增大，胡惟庸渐渐忘乎所以，对于胆敢挑战他权威的人是一个也不放过。
胡惟庸第一个要对付的人，就是已经退休在家的刘基。这时候已经预感到山雨欲来风满楼的刘基怕遭致政治灾祸，隐居山中，不再过问朝政。每天以喝酒下棋为乐，将自己混同于普通老百姓，绝口不提自己的功劳。
刘基想要逃避现实，但是严酷的政治斗争风波仍是将其卷入其中。
胡惟庸上位之后，尤其是在获悉刘基曾经在皇帝面前说过他的坏话，说他不具备丞相的资格。当日，朱元璋和刘基君臣私下论相本来是极为机密的，如今却发展到举朝皆知的地步。
等到胡惟庸案发后，才有人想到可能是朱元璋派检校故意放出去的风声。别说刘基本就是淮西集团的死对头，单就此次论相而言，就足以使胡惟庸与刘基之间心生仇隙。
在丞相的人选问题上，刘基出于公心劝导朱元璋不要撤换李善长：“善长勋旧，能调和诸将（李善长是开国元勋，能调和各路将领）。”
朱元璋说：“是数欲害君，君乃为之地耶?吾行相君矣（他多次找机会要害你，你还为他讲好话，如此高风亮节，我要任命你为丞相）。”
刘基深知在淮西集团当权的情况下，自己就很难在朝廷施展手脚，坚决辞谢。
朱元璋又问：“杨宪如何？”
刘基道：“杨宪有丞相的才干，没有丞相的气度，丞相必须保持水一般平衡的心态，用义理来权衡一切，而不感情用事。这一点，杨宪做不到。
朱元璋又问：“汪广洋如何?”
刘基说：“此人过于偏浅，还不如杨宪。”
朱元璋又问：“胡惟庸如何?”
刘基说：“譬之驾，惧其偾辕也。”在刘基看来，胡惟庸是最不合适做丞相的，就好比一匹劣马，叫它驾车，必然会导致翻车事故。
朱元璋见以上人选都入不了刘基的法眼，就故意试探刘基：“我的丞相人选，难道就没有一个能够超过先生的（吾之相，诚无逾先生）。”
刘基看穿了皇帝的心思，推托道：臣疾恶太甚，口无遮拦，一向闲散惯了，无法应对繁杂的行政事务，在这个位子上，恐怕辜负皇上的重托。天下之大，哪里会找不到人才呢？请明主悉心搜求。不过刚才提到的几个人，确实并不合适。
时隔不久，胡惟庸当上了左丞相，这让刘基备感失落。他不免在一些故交好友面前感叹：“使吾言不验，苍生福也。”就是希望自己评价胡惟庸的那句话不要得到应验，那样的话就是天下百姓之福，大明王朝之福。
刘基于洪武四年（1371年）告老还乡以后，就一直安居于老家浙江青田，过着布衣粗食的生活。虽然远离帝国权力的核心地带，但是刘基表现得依然谨小慎微。他知道远在南京的朱元璋并没有放松对自己的警惕，而他在帝国的各个角落布下的眼睛和耳朵也在死死地盯着自己。为了与帝国权力阶层撇清关系，也为了证明自己已经完全放弃权力，回乡的刘基从来不与当地的官员见面。
有一次，青田知县以布衣身份去拜见他，二人相谈甚欢。分别之时，这个知县才透露自己的身份，并表达了对刘基的仰慕之情。刘基听后当即下跪，口称小民，从此闭门不见客。
让人扼腕叹息的是，即便刘基如此小心谨慎，可还是没有跳出帝国权力规则的羁绊。
浙江和福建交界处有一个叫谈洋的地方，那里长期被盐枭所占据。由于当地的盐枭不服管制，埋下了诸多不安定因素。此处离刘基的家乡很近，刘基就向朱元璋奏请在此处设立巡检司进行管制。刘基就这件事写了一份奏章，并派大儿子刘琏带到南京，直接越过中书省，送达朱元璋。
之所以让这份奏章越过中书省，刘基有自己的一番考虑。他知道如果按照正常的程序往下走，胡惟庸不会拿自己太当回事，这也就意味着朱元璋很有可能看不到这份奏章。中书省有权在皇帝之前先拆看大臣的奏章，如果这份奏章落到胡惟庸的手里，肯定会被截留于中书省。
胡惟庸很快就知道刘琏进京面圣这件事，对于刚刚主政中书省的胡惟庸来说，没有比这更糟糕的事了。胡惟庸立刻指使刑部尚书吴云上书弹劾刘基：“刘基说过谈洋这个地方有王气，他想等自己死后把墓建在这里。由于当地百姓不肯让地，这才请求朝廷设立巡检司驱逐百姓，好拿到这块好地方。”
胡惟庸的这一招不是一般的毒辣，如果这个说法成立，那么等待着刘基的将会是：谋反大罪，诛灭九族。
王气只能是皇帝才能够具备的气场，做臣子的如果想得到王气，那就必须造反成功。在封建宗族社会的意识形态里，后人对于祖宗坟地的位置选择非常讲究，它甚至将后世子孙的祸福吉凶都压在了这件事上。
朱元璋不愧为一代雄主，他虽然也敬天祭天，但并不是轻易就会被别人忽悠的。
朱元璋看到奏章后并没有按谋反罪逮捕刘基，当然遇到这样的事情，他也不可能坐视不管，就势剥夺了刘基的朝廷俸禄。朱元璋对这件事的态度颇值得玩味，史料上的原文是这样记录的“帝虽不罪基，然颇为所动，遂夺基禄”。
朱元璋究竟为何心动？难道正如胡惟庸所言，刘基为自己选了一块有王气的风水宝地吗？这显然不符合逻辑。朱元璋也明白，凭借刘基在帝国权力场上的能量和个人气场远远达不到称王称帝的地步。
那么朱元璋究竟在担心什么？那就是刘基的才能，这才是朱元璋最为忌惮之处。江山初定，如果像刘基这样有影响力的人才心生异志，或另投他人，对于朱元璋和他的帝国来说，都是令人头疼的大事。
当然还存在一种情况，朱元璋剥夺刘基俸禄的心“动”之举是故意做出来的，做给胡惟庸看的。但是朱元璋的态度使得刘基再也坐不住了，他不顾老病之躯，千里迢迢赶赴南京城，准备向朱元璋当面陈清事实。
刘基重返京城等于是羊入虎口，想要挣脱显然是不可能的。为了表明心迹，他留京不归。
刘基在进京之后就病倒了，而且是一病多年。胡惟庸并没有忘记他，更不会就此放过他。史料记载胡惟庸曾派医生到刘基那里去看病，刘基吃了医生开出的药，“有物积腹中如拳石”，反而导致病情加重。
