于爱之，常与他计议国事，立为丁零王。虞常在汉时，与副使张胜相善，这时私下里约会张胜说：“听说天子甚是怨恨卫律，虞常能为大汉伏弩刺杀他。我的母亲兄弟在汉，希望能有幸蒙其赏赐。”张胜许诺了他，并送给他一些财物。后月余，单于出猎，只有其母亲子弟在，虞常等七十余人，将要发难，不想有一人临阵退缩，逃走告变，单于子弟等发兵与之对战，缑王等皆战死，只有虞常被生得。单于使卫律按治其事，张胜闻变，恐怕与虞常接头的事被发觉，只好将前情告诉苏武，苏武说：“事已至此，必定会连累到你我，事发必死，只是有负国家重望。”说完就要自杀，张胜与常惠一道阻止他才作罢。
虞常果然招出了张胜，单于大怒，招诸贵人商议，欲杀汉使者左伊秩訾说：“他们只是谋杀卫律，又没有亲行其事，罪不至死，不如使他们归降大王。”
单于以为然，使卫律招苏武，劝其归降。将行，苏武对常惠等人说：“屈节辱命，虽活着，又有何面目归汉？”因引佩刀自刺。卫律大惊，亲自抱持苏武，驰马招医。
苏武既至单于廷，单于使人凿地为坎，下置火炉，使苏武平躺于火上，令人在上蹈其背，其背出血，苏武气绝。半日复苏、常惠等哭着扶他归营。单于壮其气节，朝夕遣人候问苏武，却将张胜收系入狱。等到苏武将要痊愈了，单于派使者前去向苏武传达劝其归降的意愿，并将苏武请到了判决虞常的现场。想要借此要挟苏武投降。
剑斩虞常后，卫律说：“汉使张胜谋杀单于近臣，其罪当死。但单于有令，肯降者可赦免其罪，”说完举剑将要击杀张胜，张胜请降。卫律对苏武说：“副手有罪，正职理当相坐。”
苏武说：“本来就没有参与，又不是亲属，何来相坐之说？”
卫律起身，举剑做砍向苏武状，苏武凛然不动。
卫律无奈说：“苏君，卫律前日负汉归匈奴，幸蒙大恩，赐号称王，拥众数万，马畜弥山，富贵如此。苏君今日降，明日也会和我一样不降的话，空自以身归草野，又有谁知道呢？”苏武不应。卫律又说:“苏君如果因我而降，我愿与君结为兄弟富贵共之。若不听我言，以后想要见我，也是不可能的了。”
苏武骂卫律说：“你为人臣子，不顾恩义，畔主背亲，在蛮夷为降虏，我见你干什么？况且单于相信你，使你决人生死，你不平心持正，反要斗两主，观祸败。你记住了，南越杀汉使，屠为九郡。宛王杀汉使，头悬北阙。朝鲜杀汉使，即时诛灭。只有匈奴还没发生这事。