北齐建都邺城（今河北临漳西南），以晋阳（今山西太原）为别都。但晋阳对于北齐很重要。晋阳地势险要，处于汾河谷地，四周都有群山做为屏障，在军事上占尽地理优势。进可南下直取中原，退可凭借城池坚守待援，即便大势已去，也可以北逃塞外以待卷土重来。所以从高欢开始，一代代的北齐皇帝都很重视对晋阳城的经营。高欢最后就是在晋阳去世的。而自高洋之后的北齐皇帝，每年都有很长时间在晋阳宫处理政事。北齐很多次皇帝的更迭也是在晋阳进行的，高纬就是在晋阳北宫即位的。晋阳成为北齐实际的政治和军事中心，地位重要无比。

因此，当高纬一路奔逃来到晋阳的时候，这座重镇是否能坚守得住，就关系着北齐的生死存亡。

高纬来到了晋阳已经被吓破了胆子，略事休整就留下安德王高延宗等人留守晋阳，自己逃往突厥去了。大臣和将士们苦苦劝谏他留下来安定人心，他都不肯听从。他手下的人不愿抛弃家乡到突厥去寄人篱下，一路上纷纷逃亡，连他的宠臣如穆提婆都投降了北周。最后高纬周围只有十余骑随从，他只得回到首都邺城。

晋阳城中的军民一看皇帝不负责任地扔下他们跑了，就拥立奉命留守的安德王高延宗为帝，改元德昌。高纬得知此事，气哼哼地说：“我宁愿让晋阳城送到周军手里，也不愿意安德王在那里当皇帝。”安德王高延宗将王府中的积藏与后宫美女赏赐给将士们，率领军民坚守晋阳。在北周军队包围晋阳之后，他又亲冒矢雨、身先士卒，率领四万军队出城迎战。一时北周军队被杀的大败，连周武帝都差点被捉。但大胜之后北齐将士们欣喜若狂，涌入街坊之中畅饮欢庆，不少人醉卧长街，致使高延宗无法重新集结军队。于是，在第二天清晨，北周军队趁北齐守军猝不及防之时，一举从东门攻破晋阳。

此时高纬正在邺都苟延残喘。他事先曾把家小送到北朔州（今山西朔县）。现在他的母亲胡太后回来，他理也不理。可淑妃冯小伶驾到，高纬就凿开邺城北边的城墙，出外十里迎接。大臣劝他亲自向守城将士发表讲话，还替他撰写了意气奋发，拼死守城的讲话稿，让他演讲的时候要感激流泪，以激励士兵。可这个玩闹皇帝面对十数万庄严肃穆、抱有哀兵必胜之心的将士时，忽然把演讲稿上的词儿忘了，竟大笑起来。将士们大怒，都说“皇帝都这样，我们急什么。”全无战心。而高纬虽然把军心不当一回事，却十分迷信，对老天爷的指示看得很重。宫内占卜官说天文有变，当有改朝换代的迹象。他就学自己父亲，禅位给八岁的太子高恒，改元承光，自己当上了“太上皇”。

然而老天并不能保佑他，高纬刚刚当了二十五天太上皇，北周军队就攻破了北齐的首都邺城。于是高纬就带着妻儿老小往济洲跑去，这时只有一百多个随从跟着他。接着他又匆匆逃往青州，如果北周还紧追不舍，就准备从青州向南投奔敌国陈国避难。而他的宠臣高阿那肱看到高纬已经亡国，跟着他也没有什么前途，就打算把他们父子二人作为自己的进身之阶。他偷偷派人捎信给周武帝，计划里应外合，生擒高纬父子。而高纬对此还一无所知，反而叫高阿那肱密切关注北周的动静，高阿那肱就骗他：“一路上的桥梁都已拆毁，北周一时还来不了，皇上还是安心吧。”高纬信以为真，放心的呆在青州，居然还有闲情和冯小伶温存一番。可没想到刚过了三天，北周军队就如神兵天降般忽然到了青州，高阿那肱打开城门，北周军队一拥而入。高纬吓得肝胆俱裂，装了一大袋金子系在马鞍上，带着后妃等十几个人狂跑，终于在南邓村被周军追及，高纬父子等十多人被俘。自高欢创业以来的北齐政权，就这样结束了。

建德六年（577年），周武帝在太庙前举行了盛大的献俘仪式，高纬和北齐的宗室及大臣等几百人作作为被俘的降臣，伏跪在周国太庙前。周武帝封高纬做了温国公，又在他的要求下把冯小伶还给了他。接着，周武帝举行了规模浩大的欢庆宴会，让高纬等一干降人也列席参加。酒酣耳热之时，周武帝命令高纬起舞助兴。

这其实是很侮辱人的要求。当年西晋灭亡，后汉的刘聪把晋怀帝和晋愍帝掳到长安，在盛大的酒宴上就让这两个皇帝身着奴仆的青衣，给在座的各位大臣劝酒。那些大臣们很多都是原来西晋的臣子，看到故主受到这样地侮辱，都忍不住呜咽流涕，泪下沾襟。不少人失声痛哭了出来，结果让刘聪当即拖出去斩首。而怀愍二帝忍受了这种屈辱也没能保得善终，最后还是让刘聪杀死了。

此时周武帝下令让高纬在席间起舞，不知道他会是什么心情。或许他会觉得屈辱，但为了苟活不得不从命；或许他根本不在乎，国家都让他玩丢了，在这里跳个舞算什么，再说周武帝肯把冯小伶还给他，他还应该感谢呢。不管怎样，他精妙的舞技得到了北周君臣的一致赞赏，看起来他的命运应该比西晋的怀愍二帝要好一点吧。

但是他不可能总是这么幸运，毕竟是亡国之君，命悬人手，就算他没有什么想法，但作为北齐曾经的皇帝，北周人对他的猜忌永远不可能消失。半年之后，北周已经完全控制了北齐故地，为斩草除根，北周人诬称高纬谋反，把他和儿子高恒，包括三十多个直系王爷以及宗室百口全部赐死，只有高纬两个有残疾的弟弟高仁英、高仁雅活了下来，被迁到西蜀偏僻之地，任其自生自灭。高纬的母亲胡太后和他的妻子穆皇后，流落长安，成为了妓女。高氏的其余亲属都被流放到西部沙漠一带，没有一个人回来。