除了兄弟姐妹，胡亥对其他不听话的文武大臣也不放过。首先迫害的是蒙恬兄弟俩，开始胡亥想继续用他们兄弟俩，但赵高害怕他们对自己构成威胁，就向胡亥造谣说，秦始皇原来曾想立胡亥做太子，但蒙恬的兄弟蒙毅极力阻止，秦始皇这才打消了立他做太子的念头。胡亥却信以为真，不但没有释放蒙恬，还将蒙毅也囚禁在代郡（现在河北省蔚县（市）东北）的监狱中。后来，胡亥派使者逼蒙毅自尽，然后又派人到阳周的监狱中逼蒙恬自杀，蒙恬开始不肯，声辩说要见胡亥，请他收回诏命，使者不许，蒙恬见生还无望，只得服毒自尽。
对其他的大臣，胡亥在赵高的唆使下，也大开杀戒。右丞相冯去疾和将军冯劫为免遭羞辱而死，选择了自尽。在杀死大臣的同时，赵高将自己的亲信一个个安插进去，他的兄弟赵成做了中车府令，他的女婿做了都城咸阳的县（市）令，都是要职，其他朝中的要职也遍布赵高的檔羽。胡亥只知道自己享乐，对赵高的这些阴谋动作毫无防备，最终死在了赵高之手。
杀了许多朝中的大臣，赵高还不满足，又寻找机会唆使胡亥对地方人吏也下毒手。在胡亥即位的第二年，即公元前209年年初，胡亥效法自己的父亲秦始皇，也巡游天下。南到会稽（现在的苏州），北到碣石（现在河北昌黎北），最后从辽东（现在辽宁的辽阳）返回咸阳。在巡游途中，赵高阴险地对胡亥说："陛下这次巡游天下，应该趁机树立自己的威信，把那些不听从的人吏诛杀，这样您才能有至高无上的威信。"胡亥不问青红皂白，就连连下令诛杀异己，结果弄得大臣们惶恐不安。赵高实际上把年轻无为的胡亥当成了扩张自己拳势的工具。
对于李斯这个原来的盟友，赵高也没有放过，借胡亥之手除掉了这个对手。赵高设计使胡亥对李斯不满，然后又找机会向胡亥诬陷了李斯三个罪名：一是李斯原来参与了拥立胡亥即位，但后来总抱怨自己不受重用，想和胡亥分土做王。二是李斯的儿子李由做三川郡守，而陈胜作乱经过三川郡时，李由却不积极镇压，因为他和陈胜是邻县（市）的同乡。听说李斯和陈胜他们也通过讯息。三是李斯作为丞相，拳利过大，超过了皇帝，但还不满足，似乎有异心。
胡亥听了赵高的话，想抓李斯，但又没有真凭实据，就先派人监视李斯。李斯听到消息，就上书揭发赵高的劣迹。胡亥却不肯相信，反而将书信给赵高看。赵高知道和李斯是你死我活的斗争，就进一步地罗织罪名诬陷李斯。胡亥将李斯抓捕，交给赵高负责审理。赵高自然不肯放过这个难得的机会，对李斯用尽了