公元前100年，刘彻正想出兵攻打匈奴，匈奴却派使者来求和，还把以前扣留的汉朝使者都放了回来。刘彻为了答复匈奴的善意，派中郎将苏武带着副手张胜和随员常惠出使匈奴。
苏武一行风餐露宿，长途跋涉，终于到达匈奴单于居住的地方。单于见苏武送礼上门，以为汉朝软弱，所以对苏武及使臣们极其傲慢无礼，并企图利用前次投降匈奴的汉朝使者卫律威逼苏武卖国求荣。苏武严辞拒绝叛徒卫律的游说，把叛徒卫律骂得狗血淋头。
于是，单于决定把苏武关在地窖里，不给他吃的喝的，想借此逼他屈服。当时正是入冬天气，外面下着鹅毛大雪。苏武忍饥挨饿，渴了就捧一把雪止渴；饿了扯一些皮带、羊皮片啃着充饥。几天过去了，他居然没有饿死。
单于见苏武软硬不吃，便下令把苏武放逐到北海（今俄罗斯西伯利亚贝加尔湖）去放羊。临行前，单于对苏武说：“等公羊生了小羊，才放你回去。”
北海荒无人烟，一年到头白雪皑皑，连鸟兽也很难见到。有时苏武饿得没有办法，就掘开野鼠洞，掏洞里的草料来充饥。每天，他一面放羊，一面抚弄“节杖”，希望总有那么一天，能够拿着节杖，重返汉庭。
公元前85年，匈奴单于死了，匈奴发生内乱，分裂成了三个部落。新单于没有力量再跟汉朝打仗，又打发使者求和。
公元前81年，汉朝与匈奴几经交涉，匈奴才把苏武及其随员共9人放回长安。
