慘遭流放
最初，單於派衛律向蘇武遊說，許以豐厚的奉祿和高官，蘇武嚴辭拒絕了。匈奴見勸說沒有用，就決定用酷刑。當時正值嚴冬，天上下著鵝毛大雪。單於命人把蘇武關進壹個露天的大地穴，斷絕提
蘇武
供食品和水，希望這樣可以改變蘇武的信念。時間壹天天過去，蘇武在地窖裏受盡了折磨。渴了，他就吃壹把雪，餓了，就嚼身上穿的羊皮襖，冷了，就縮在角裏與皮襖取暖。過了好些天，單於見瀕臨死亡的蘇武仍然沒有屈服的表示，只好把蘇武放出來了。單於知道無論軟的，還是硬的，勸說蘇武投降都沒有希望，但越發敬重蘇武的氣節，不忍心殺蘇武，又不想讓他返回自己的國家，於是決定把蘇武流放到西伯利亞的貝加爾湖壹帶，讓他去牧羊。臨行前，單於召見蘇武說：“既然妳不投降，那我就讓妳去放羊，什麽時候這些羊生了羊羔，我就讓妳回到中原去。”
與他的同伴分開後，蘇武被流放到了人跡罕至的貝加爾湖邊。他發現這些羊全是公羊。在這裏，單憑個人的能力是無論如何也逃不掉的。唯壹與蘇武作伴的，是那根代表漢朝的旌節和壹小群羊。蘇武每天拿著這根使節放羊，心想總有壹天能夠拿著回到自己的國家。渴了，他就吃壹把雪，餓了，就 挖野菜、逮野兔充饑，冷了，就與羊取暖。這樣日復壹日，年復壹年，旌節上掛著的旄牛尾裝飾物都掉光了，蘇武的頭發和胡須也都變花白了。
回國
在貝加爾湖，蘇武牧羊長達十九年之久。十幾年來，當初下了命令囚禁他的匈奴單於已去世了，就是在蘇武的國家，漢武帝也死了，漢武帝的兒子繼任皇位，就是漢昭帝。這時候，新單於執行與漢朝和好的政策，漢昭帝立即派使臣把蘇武接回自己的國家。
後來，漢朝使者到了匈奴地區，壹開始匈奴的單於說蘇武已死，後來從當初壹起被扣留的人那裏得知蘇武依然健在，於是揚言說，漢朝的天子在上林苑中射到壹只大雁，雁的腳上系著帛書，帛書中清楚地寫著蘇武在北方的沼澤之中。單於只好把蘇武等九人送還。
在昭帝始元六年，即公元前81年，蘇武終於回到了長安。第二年，上官桀、上官安父子和桑弘羊被人控告謀反，蘇武和上官父子、桑弘羊原來關系很好，加上他的兒子也參與其中，蘇武被罷官。昭帝死後，蘇武因為參與了擁立漢宣帝，被賜爵關內侯。
經過漢武帝三次重大戰役的打擊，匈奴的軍事實力大為減弱，只好遠遁漠北。元狩末年，匈奴貴族向漢王朝表示請求和親，漢王朝也有意休戰。匈奴貴族的和親目的在於恢復武帝以前漢與匈奴的不平等關系，這對於漢王朝來說當然是不能接受的；而漢王朝則要匈奴臣服，成為漢王朝的 外臣 ，這在壹貫以漢王朝為掠奪對象的匈奴貴族來說，也是不能接受的。這樣，雙方多次互派使者進行談判，但由於雙方互不相讓，甚至以扣留使者相要挾，而無法達成協議，從而形成元鼎至太初十余年間打打談談的局面。蘇武就是在這種背景下出使匈奴的
蘇武
漢始元年由於匈奴單於再次表示要求和親，並送還以往扣留的漢朝使者，武帝遂命中郎將蘇武率百余人攜帶大批禮品出使匈奴，並送還漢朝扣留的匈奴使者。當時，匈奴中有人準備劫持單於的母親歸漢，蘇武的副使張勝卷入這壹行動。
事發後，蘇武受到牽連。匈奴單於采用種種方法威逼利誘蘇武，勸其投降，都遭到蘇武義正辭嚴的拒絕。單於無可奈何，便把他流放到人跡罕至、荒原千裏的北海（今貝加爾湖）邊放羊，並宣稱要等公羊生下羊羔，才放蘇武回去。蘇武在那裏歷盡艱辛，經常以挖掘野鼠穴中的草籽為食，但他出使時所持的旌節（jīng jié）卻從不離身，天長日久，旌節上的毛全都脫落了。即使這樣，仍未動搖他對漢朝的忠心。
昭帝即位後，匈奴於始元六年（公元前81年）派使者向漢王朝請求和親。
在此之前，漢曾多次向匈奴索要蘇武回國，匈奴皆偽稱蘇武已死。後來漢使復至匈奴，探知蘇武的下落，便對單於說：漢天子在上林苑中射下壹只雁，雁足上系有帛書，說蘇武如今在北海。單於大驚，只好允許蘇武隨漢使回國。
蘇武在匈奴被扣留十九年，出使時尚在壯年，回國時已經須發盡白了。為了表彰他不辱漢節的功績，昭帝封他為典屬國，秩中二千石，賜錢二百萬，公田二頃，宅壹區。宣帝時，被賜爵關內侯，後復為右曹典屬國。蘇武留胡節不辱的愛國精神，也受到後人們的敬仰，他的事跡被編為歌、劇、故事，廣為流傳。