除了司马皇室。
本年初，桓玄奉命晋见司马道子，司马道子正酩酊大醉，迷糊中问桓玄：“据说桓温到了晚年，本来打算当贼，是不是这样？”
桓玄赶紧跪伏在地上，声称绝无此事。
司马道子当场哈哈大笑，感觉戏弄别人当真是一件无比欢乐的事情。
但桓玄却对司马家越发怨恨，果断请辞了图书馆的职务，朝廷又调任他为义兴郡长，桓玄更加恼恨，认为大材小用，经常闷闷不乐地对身边人叹息说：“父亲是九州盟主，儿子却不过当个五湖头目！”
没多久，桓玄再度请辞，这次拒绝了所有任命，回到封国采邑，但越想越不爽，上书朝廷说：“我父亲尽忠皇家，平定祸乱的功劳，朝廷忘掉，我就不计较了，可是先帝真龙起飞，陛下继承大统，请问那些清谈的人，是谁促成了今天的局面？”
奏章意料之中被搁置，根本没有人在意他。
就在桓玄愤懑的时候，殷仲堪赴任了。
这两人的先辈本是仇家，却意外成了邻居，殷仲堪对桓玄既尊敬又害怕，平时见了面都是能躲就躲。
桓姓家族好几代都镇守在荆州，而桓玄尤其逞强蛮横，官员百姓都怕他，远超过本州的督导官殷仲堪。
虽然殷仲堪有意躲避麻烦，但还是难得安宁，桓玄故意在荆州州政府门前骑马奔驰，惹得官员们和百姓纷纷围观。
殷仲堪无奈之下，只得出面平息，结果刚一露头，桓玄便用长矛直指他的咽喉，作出刺杀的姿势，一面狂笑不止。
殷仲堪的大营军事参议官刘迈，在旁大义凛然地对桓玄说：“战马长矛自然是威风，但是终究有违天理国法。”
桓玄不大高兴，但既已扫兴，也不想再玩了，掉转马头原路返回。
殷仲堪吓得脸都绿了，等桓玄连人带马走远了，才终于敢松口气，对刘迈说：“你真是疯了，桓玄派出刺客，半夜把你掉，我怎么能救你？”
刘迈这才意识到自己的处境，一时不能言语，殷仲堪劝他立刻前往京师躲避，当天夜里，桓玄果然派人到刘迈府上刺杀，刘迈幸亏逃得早，这才捡得一命。
经这么一闹，桓殷二人的关系更僵了，征虏将军府的军事参议官胡藩路过江陵时，向殷仲堪提议说：“桓玄的野心太大，跟普通人不一样，对于一直没有弄到掌权的职位，很不满意，阁下对他过度的优待，恐怕将来反而会让他对你反目成仇。”
殷仲堪何尝不知道这个问题，但自