胡亥继位后，赵高从中车府令被提拔为郎中令，地位仅次于丞相李斯。但赵高还是不满意，他要的是“一人之下，万人之上。”，那就得除掉李斯这位曾经的“战友”了。
眼下秦朝已然危机四伏，李斯想要进谏，胡亥却懒得理他。赵高趁机和李斯说：“关东反叛的形势不容乐观呀，陛下也不管管，哎，卑职人微言轻，不像丞相大人您，是先帝依靠的重臣，您多劝劝陛下吧。”李斯回道：“我也想呀，只是陛下都在宫里不见我。”赵高说：“这好办，什么时候陛下空了，我就立刻来禀报丞相大人。”李斯感激得说：“那就有劳赵大人了。”
赵高知道胡亥无心政事，他在玩的时候最讨厌别人来打扰他，于是每次胡亥玩得开心时，赵高就去通知李斯去进谏，一连好几次。胡亥怒了，和赵高吐槽：“李斯这个老家伙真没眼力劲，老是坏了朕的雅致，他是看不起我吗？”赵高附和道：“哎，丞相毕竟也帮助您登上皇位，如今他却没有捞到多大好处，说不定是心里怨恨陛下呢？可能他要陛下封个王给他做做吧。”
胡亥更生气了，说道：“啥，他想反了不成。”赵高见机继续添油加醋：“事到如今，臣有一事不能不说了。”胡亥疑惑道：“什么，难道李斯真的要反啊？”赵高说：“丞相长子李由担任三川郡守，而现在起义闹事的带头大哥和丞相是老乡，他们在路过三川的时候李由都不阻拦他们，我听说李由和反贼还有书信往来，之前没有确凿证据，所以没有贸然向陛下禀报。”
“这还了得，这事交给你了。”胡亥让赵高调查此事。李斯知道后也清楚赵高想除掉自己，就上书给胡亥伸冤，并让他警惕赵高这个小人。赵高故意装委屈，在胡亥那里哭诉：“丞相父子早有谋逆之心，老臣担心陛下安危，我自己是不怕死的。”胡亥很相信他的赵师父，于是安慰他：“老师你不用怕，有朕在谁敢动你？”
不久后，李斯和右丞相冯去疾、将军冯劫联名上书，建议停建停阿房宫，减轻老百姓的负担。胡亥本来就对李斯等人不满，这下他彻底怒了，说道：“阿房宫是先帝定的工程，你说停就停啊？我才上位没多久，天下就这么乱了，你们作为重臣好意思吗？来呀，把他们抓起来法办。”
冯去疾、冯劫感到十分心寒，为了避免受辱选择了自尽，李斯锒铛入狱，赵高用酷刑逼李斯认了谋反罪行，最终屈打成招，而李由已在外战死，没有对证，李斯谋反的事情就成了板上钉钉。公元前208年七月，李斯被押往刑场腰斩，其三族被灭。和赵高同谋是李斯这辈子做最愚蠢的选择，李斯估计肠子都要悔青，害人终害己呀。
李斯死后，赵高如愿以偿当上了丞相，他也是历史上的第一位宦官。弄死了蒙家兄弟和李斯还不够，赵高专权后祸乱超纲，不管是中央官员还是地方官员，不服自己的统统弄死。哪些人不服自己呢，赵高灵机一动，想到个好主意。
一天上朝时，赵高命手下将一只鹿牵来大殿上，对胡亥说：“陛下，臣前几天出去玩的时候找一匹宝马，特来献给陛下。”胡亥揉了揉眼睛，疑惑说道：“爱卿你怕是没睡醒吧，这分明就是一只鹿嘛。”赵高说：“陛下，这确实是一匹马呀，不信问问大臣们。”赵高故意提高音量，问各位大臣：“兄弟们，你们来说手，这是鹿还是马呀？”大家心里很明白赵高的意思，有些人不敢说话，有些大臣直接拍赵高的马屁，说：“这就是马呀，我之前也养过这种马呢。”赵高对这些马屁精欣慰地点了点头。但也有人直说：“你们别扯淡了，这就是鹿。”
见大家众说纷纭，胡亥一时懵逼了，难道是自己没睡醒瞎说冲撞了神灵吗？这可不行，胡亥赶紧找太卜来算卦，太卜说：“陛下您该斋戒沐浴了。”胡亥本来就不想上朝，趁此机会赶紧溜出去打猎了。胡亥走后，赵高马上把刚才实话实说的大臣给就地正法了，理由是他们“欺君”。
这就是“指鹿为马”的典故。总之赵高专权以来，祸乱超纲，铲除异己，一大批的官员死在赵高里，赵高再借机安插自己的亲信担任要职。老秦家从商鞅变法100多年来，数代君王苦心孤诣造就了一个聚集了文臣武将的干部队伍，一瞬间被赵高给毁了，秦朝也快要完蛋了。
