匈奴原是中国古代北部边境的一个少数民族，以游牧为生。该族人生性剽悍，经常骚扰汉朝边境。他们攻城掠镇、抢劫人口、财物和牲畜，是汉朝前期最大的边境祸患，就连汉高祖刘邦，也曾遭到过匈奴的包围和攻击。为了边境安宁，汉朝廷曾多次采取向匈奴大量送礼、送公主下嫁单于（匈奴最高首领）等措施。但是，无论实行贿赂还是“和亲”政策，都一直不能从根本上解决问题。
汉武帝刘彻是个英武强悍的皇帝，在他即位以后，一直考虑着如何消除这一边患的问题；经过长时间的酝酿，他决定对匈奴用兵，主动出击，澄清边疆。公元前135年，汉武帝采纳了大臣王恢的意见，派出大军三十万人，拟采取诱敌深入的计策歼灭匈奴。在眼看计谋就要成功的时候，不慎走漏了消息，单于率众逃离了包围圈，汉军将士们功败垂成。但汉武帝并不气馁，公元前124年，雄心勃勃的汉武帝毅然否决了某些大臣立足于防守的奏议，选派车骑将军卫青，率六员大将，统领十万精兵，主动发起了进攻，取得了汉匈交战史上首次大胜，这更加坚定了武帝消灭匈奴的信心。第二年再派卫青、李广等大将出师征讨匈奴。在这次行动中，卫青的外甥、只有十七岁的霍去病自愿要求随军杀敌，为国效力。卫青很高兴，便答应了他的请求。
汉军穿过茫茫沙漠以后，少年志壮的霍去病主动请求，要亲自率一队人马寻找匈奴作战。经卫青批准后，他便独自率领八百轻骑，离开了大队。在离大营百余里的地方，他们发现了敌军大队人马。霍去病沉着冷静，指挥轻骑，以闪电般的速度迅速突入敌腹部，冲乱了敌人的阵势，打得敌人懵头转向，杀虏敌军二千余人，全军而返。慧眼识才的汉武帝，通过对战场上将士们的实绩考核，认为霍去病是个将才，不但破格加封他为冠军侯，而且又于元狩二年（前121）大胆地任命他为骠骑将军，命他率一万骑兵，由陇西出发，孤军深入沙漠，寻找匈奴主力作战。
虽然汉军这时已经多次击败匈奴，在战场上连连取得胜利，但是，匈奴的主力还没有遭到多大伤害。因而，汉武帝一直感到这是一块心病。他决心一鼓作气，不给匈奴以喘息的机会，消灭它的主力，彻底战胜它。但寻找匈奴作战不是一件小事，任命霍去病出战，使一些老臣都暗暗为朝廷捏了一把汗。心想，霍去病前番出战，虽然获胜，但不够持重，未免冒险。威名赫赫的卫青还要有许多大将帮着才能取胜，霍去病论年龄才刚刚二十岁；论资历远不及卫青和其他抗击匈奴的将领；论兵力，只有一万人，仅是前几次出击匈奴兵力的十分之一甚至几十分之一。以这样的情况，皇帝怎么敢让他孤军深入大漠呢？其实，汉武帝自有汉武帝的想法，他成竹在胸，主意已定，虽然看出了老臣们的忧虑，但却视而不见，只是微微一笑，并不垂询。只是在霍去病出发不久，另派出张骞和李广两位将军，出军右北平击敌，以牵制敌人。
且说这霍去病年青无畏，敢担风险，不像有些谨慎持重的老将军那样畏头畏尾。他率军一路疾进，越过焉支山（今甘肃省山丹县东南），深入千余里，终于找到了匈奴大队。他勇敢地与匈奴大军短兵相接，在皋兰山（今甘肃临夏附近）下与敌人展开鏖战，歼敌一万八千余人，杀死了两名重要的匈奴首领，活捉了昆邪王的太子、相国和都尉，连匈奴休屠王祭天用的金佛像也成了战利品。紧接着，他又指挥军队第二次出击，孤军直插祁连山（今甘肃张掖西南），与匈奴大军会战。这一仗，竟俘虏匈奴王五十名，王母、阏式（王后）、王子共五十九人，相国、都尉等六十三人，斩杀敌兵三万余人，虏获财物不可计数。这是汉兵对匈奴最重的一次打击，经过这一战，匈奴被迫放弃了焉支山和祁连山这两道天然屏障。他们悲哀地唱道：
亡我焉支山，
使我六畜不蕃息。
失我祁连山，
使我妇女无颜色！
霍去病胜利凯旋，武帝非常高兴，认为他年轻有为，决定让他去学习《孙吴兵法》。霍去病说：“为将须随时运谋，何必定拘于古法呢？”武帝并不强迫他，便又要为他修建府第。霍去病仍然没有答应，他严肃而有动情地辞谢说：“匈奴未灭，何以家为！”话虽不多，但充分表现了这位年青将领以国为家的忠勇精神，武帝很感动，对他更加信任和倚重了。
后来，霍去病与大将卫青等再次受命，各率军五万人，分两路打击匈奴。霍去病领兵出塞二千余里，与匈奴左贤王接战，捉获王三人，将军等官员八十三人，捕斩敌军七万多，穷追残敌直至瀚海。另一路军亦获大胜，打得匈奴头子伊稚斜单于只带数百名残兵落荒而逃。匈奴遭到这次重创以后，只好远迁汉北。长安西境人民，从此过上了一个时期的安定生活。另外，通往西域各国的道路也打通了，经过武帝的努力，西域各国纷纷派使者带着当地的特产前来通好，不但加深了汉朝同各国各民族的友谊，而且由于互通有无，互相学习，也促进了各国文化与生产的发展。
