北齐丢掉寿阳时，穆提婆和韩长鸾正在晋阳握槊，得知战报，游戏并没有中止，二人淡淡地说：“本来就是他们的土地，随他们拿去。”
但高纬却有些忧虑，一整天都闷闷不乐，穆提婆劝他：“不要说丧失了淮南，纵然失了河南，我们仍可以当一个龟兹国，真正值得可惜的是，人生好像寄住世间，应该把握这短暂的时间，竭力追求快乐，何必去为一个寿阳心烦。”
左右侍从太监们一致称赞这种洒脱的见解，高纬也颇为钦佩，于是转愁为喜，大肆饮酒狂欢。
过了没多久，淮南果然丢失，高纬却也不再忧虑，看待这种事非常轻松，根本不往心里去。
朔州中央特遣政府总监、南安王高思好，倒是对南方的局势很上心，决心趁乱打上一劫，于574年初，宣称率军前往京师，肃清皇上身边的奸佞，抵达阳曲后，自称大丞相。
高思好名不见经传，也没什么强悍的实力，很快就被平定，兵败自杀，不足以让朝堂上的君臣们警醒，高纬和身边的宠臣们仍旧醉心享受，无视四伏的危机。
高湛在世时，经常给自己的胡皇后纺织珍珠裙裤，高纬依葫芦画瓢，也给自己的穆皇后制作，后来对穆舍利的宠爱变淡，看上了穆舍利的侍女冯小怜，于是把那些价值连城的服饰转赠冯小怜，封她为淑妃。
冯小怜长相甜美，饥肤嫩滑，高纬对她爱不释手，坐则同席，出则两马并驾，还向天起誓，约定同生共死。
当初遇到穆舍利时，高纬的反应也是如此，如果不是北齐很快亡国，相信过不了几年，又有新的美女上位了，历史没有给高纬那个机会，冯小怜光荣地加入到“红颜祸水”的队伍。
野史对冯小怜的描绘更加出彩，说她呵出的气都是香的，身体也有特异功能，在冬天热情似火，到夏天又凉如温玉，高纬爱她如此，甚至让她赤身祼体侧卧在桌子上，摆弄着各种撩人的姿势，任凭朝臣们观赏品鉴，“玉体横陈”就是来源于此。
除了与心爱的女人交欢，高纬对待其他的休闲方式也是来者不拒。
定州州长、南阳王高绰，非常喜欢残害无辜，有一次在路上遇到抱小孩的妇女，高绰下令把小孩抢过来喂他的狗，妇女号啕大哭，高绰又把小孩的血涂到妇女身上，让狗扑上去把妇女撕碎吞食。
民间舆论当然清一色地谴责他，高绰满不在乎地与左右说：“我是效法文宣伯父（高洋）的为人。”
高绰也是高湛的儿子，且比高纬早出生几个小时，但