此时左丞相杨坚专政，阴图禅代，早知道高颎精明强干，并且熟习军事，计谋丰富，便想延揽入丞相府。于是派邗国公杨惠传达丞相的意思，高颎领会旨意十分高兴地说：“愿意接受驱使。即使事业不能成功，我也不怕灭族之灾。”于是任丞相府司录。当时长史郑译、司马刘昉都因为奢侈放纵被疏远，杨坚愈加看重高颎，认他为心腹重臣。 尉迟迥起兵叛乱，派遣自己的儿子尉迟惇率步骑兵八万，进驻武陟。杨坚命令韦孝宽攻击叛军，官军到河阳，诸路大军都不敢领先出战。高祖见诸将没有统一指挥，便命令崔仲方前去监军，崔仲方以父亲在山东为由推辞。那时高颎见郑译、刘昉都没有前往前线的意向，便主动请求出行，很合高祖的心意，于是派遣高颎。高颎接受指令立即出发，派人代为辞别母亲，说忠孝不能两全，便感慨叹息着上了路。到军中，在沁水上架桥，贼军在上游放下点着火的小船，高颎预先制作土狗（水中障碍，前锐后广，前高后低，状如坐狗的土墩）以抵御火船，渡过沁水后烧掉桥与叛军背水一战，大败叛军。 大军至邺城后，尉迟迥集中全部兵力13万，列阵城南，准备决战。韦孝宽军进攻受挫，被迫撤退。高颎与宇文忻、李询等设计：先射观者，造成混乱，然后乘势冲击。观战士民被射，果然纷纷逃避，喊声震天。宇文忻趁机传呼：“贼败矣”！韦孝宽军士气复振，乘乱进击，大败尉迟迥军，尉迟迥被迫自杀。至此，尉迟迥举兵68天即宣告失败。 军队撤回，出席杨坚内室举办的宴会，杨坚竟撤下御帐赏给他。晋位柱国，改封义宁县公，升任丞相府司马，信任倚托的地位更加提高。[3] 公元581年（北周大定元年）二月，总揽北周大权的大丞相杨坚废周立隋，是为隋文帝。拜高颎为尚书左仆射，兼纳言，进封渤海郡公，朝中大臣无人能比，以至隋文帝“每呼为独孤而不名也”。高颎很注意避开权力地位，上表章请求辞职，请苏威接替。杨坚想成就他让贤的美名，同意他解除仆射的官职。几天后，杨坚说：“苏威在前朝隐居不肯做官，高颎能推举他。我听说推荐贤能的人受上赏，怎么能让他丢官呢？”于是命令高颎恢复原位，不久拜为左卫大将军，原来的官职不变。高颎时常坐在朝堂北边的一棵槐树下办公处理政务，那棵树不在行列之内，主事的要砍掉它，杨坚特别指示不要砍，用它昭告后人。高颎被看重竟然到这种程度。不久，拜左卫大将军，本官如故。高颎遇到母亲去世而要求解职，才二十天就命令他返职处理政事，高颎流泪推辞，高祖优诏不允。在这以后将近二十年的时间里，高颎辅佐杨坚，为隋朝在政治、经济、军事各方面作出了重要的贡献。