祖皇帝的子孙一样。遭受着各种排挤和提防。一直传到天明皇帝段素兴，因为素好游狎、荒淫日甚”结果被相国高智升废掉。立了段思平的玄孙也就是段思廉为帝。自此，帝系重新转回太祖一脉。
但这种被大臣扶起来的皇帝，手里能有什么权力？而高氏如昔日之董氏。借拥立之功，一举掌握了政权。大肆扩充实力，成为大理国最强的一方，凌驾诸姓之上。
原先依附段氏的部族，也因为天明帝被废，纷纷改换门他们需要强有力的保护，显然一个被大臣扶上龙椅的皇帝，没有这样的能力。这些部族大都是白蛮，所以大都归于杨氏。杨氏的实力也急剧膨胀起来。,
而段思廉出于对高氏的恐惧，十几年里，不断给杨氏加码，希望他们能替自己，和高氏对抗起来，打个两败俱伤最好了。他却忘了杨氏的来历那是前代皇族的后裔，和段氏有灭国之恨！
且高智升不愧大理第一智者的称号。他并没有按皇帝的剧本，和杨允贤明争暗斗，而是低调做人、处处退让，从不跟他发生争执。就像今日的磋商，只要是杨允贤提出的。他一定不反对，哪怕是针对他的。他也毫无二言。
有部属子弟对此十分不忿，说当今皇帝都是我们高家立的，凭什么处处让着姓杨的？但凡说这种话的，都被高智升痛打一顿，逐出京城去。他曾经数度对人说，论才能和威望，我比杨公远远不如。况且我一个黑人，能忝居相国之位，便已经战战兢兢了，又岂敢在杨公这种天潢贵胄面前放肆。
高智升这样说也是这样做的，他把自己地嫡女嫁给了杨允贤的庶子，后来又为自己的长孙，求娶了杨允贤的孙女，而且言明，只要庶孙女即可。弄得杨允贤都不好意思，把自己的嫡孙女给了他家，令高智升感激涕零，逢人就说，杨公实在是太仁义了，我们高家从此以后，唯杨家的马首是瞻！
为了表示感谢，他极力为杨允贤争取太师之位。太师，是天子的老师，大理国从没有人活着得到这个头衔。很多人都劝杨允贤不要接受，不然让皇帝情何以堪？然而作为前代皇帝的后裔，杨允贤太想把段家压在身下，取而代之了。
而且高智升持续经年的退让和奉承，已经彻底麻痹了杨允贤。真把他当成了窝囊废、应声虫，感觉大理国内，唯我独尊了，所以高兴的接受了这太师之位。
当上太师后，杨允贤每天和皇帝见面，都是段思廉先行礼，然后他再还礼，要是心情不好，就直接免了。而且老家伙总拿出老师架子来，有事儿没事儿的教训皇帝玩。