同他的私生子身世一样，高归彦一生所做的事都是为人所不齿的。九岁的高归彦被高欢接到洛阳交由高越抚养，但作为哥哥的高越却因为其年幼，对他十分刻薄，高归彦十分记恨他这位兄长，也为他日后的所作所为埋下了种子。

高归彦

东魏武定年间，高归彦官至徐州刺史，这时的他开始向世人展示了他真实的一面，不在朴实敦厚，取而代之的是为所欲为、喜好声色、终日酣歌。公元550年，文宣帝高洋建立北齐，高归彦得宠，各种进献谗言，其中对他不好的哥哥高越自然在列，高归彦的谗言使得高洋疏远高越，并命高归彦前去斥责高越，报仇的机会来了，高归彦哪肯轻饶高越，对高越用话语百般刺激，成功迫使高越因忧虑恐惧而死。

文宣帝高洋

公元559年，文宣帝高洋突然去世，高归彦受命辅佐年幼的高殷为帝。皇帝年少，朝中党派林立、纷争不断。其中杨愔等人想要出掉常山王高演和长广王高湛，向高归彦请求计策，因为一直记恨杨愔，高归彦向高湛告密，所谓先下手为强，更何况是在直到了有人要取自己性命的时候。高湛联合高演发动政变，诛杀了杨愔等人，并由高归彦一路下令轻松进入龙门、柏阁、永巷。后高演废高殷为济南王，自立为王，并在一年后命高归彦杀死了高殷。

孝昭帝高演

可能是恶有恶报吧，在高殷死后不久，高演也因病去世，高归彦便拥立高湛为帝。高湛称帝后，高归彦升任为太傅，可以带佩刀侍卫出入宫中，高归彦仕途达到了顶峰，可谓是一人之下万人之上，百官争相结交，高归彦更是没有辜负他手中的权力，出言傲慢、旁若无人。所谓物极必反，有趋炎附势于他的，自然就有看不惯他的。高元海、毕义云等人认为高归彦威权震主，将来必危害朝廷，向皇帝多次揭发他的罪行，而此时高湛也想起了他之前反复无常的事情，逐渐疏远了他，公元562年，将高归彦外放，赏赐钱帛、鼓吹等物，并让百官前去送行，给足了高归彦面子。

武成帝高湛

奸诈的高归彦怎么会就这么消停了。来到冀州后，高归彦心里十分不爽，便计划谋反，趁机攻入邺城。谁成想自己也被告了密，高湛得知后命段韶前去征讨。高归彦得到消息后着急了，杀死了不愿意一起反叛的官员，闭城坚守。但最终还是城破被抓。

段韶

被抓后高湛派赵郡王高睿私下去询问高归彦造反原因，高归彦非常不屑说道“陛下让高元海等这些黄领小二挟制我，我怎么能不反抗，如果重用的事赵彦深，我肯定不会怨恨”，后高湛又命人前去斥责他，高归彦依然大言不惭的说“高元海收了毕义云的贿赂，任他为刺史，之后还有鼓吹的仪仗，我这个藩王却没有，所以必须杀了他俩才能解恨。”见到高湛后，高归彦还是这么说，并企图能活命，高湛非常生气，群臣也认为高归彦罪不可赦。高湛下令将高归彦及子孙十五人全部杀死，并将其余高归彦家百余人赐给高越子孙为奴。