霍去病是大将军卫青的外甥，母亲卫少儿是汉武帝皇后卫子夫的姐姐。由于有皇族关系，霍去病在18岁时就很得皇帝宠信，入宫做了侍中。
在公元前123年，他随大将军卫青出征。北击匈奴时，他率领八百精锐骑兵离开大部队几百里去追击匈奴，最后歼敌2028人，其中有相国和单于的祖父，活捉单于叔叔，战后封为冠军侯。公元前121年春，霍去病被任命为骠骑将军，率领精骑一万人，向河西地区进发。在这场战役中，汉军大获全胜，斩杀匈奴楼兰王、卢侯王，活捉了匈奴浑邪王的儿子及相国、都尉等高官，歼敌8900余人，并且缴获了匈奴休屠王的祭天金神像。战后，汉武帝下令增封霍去病食邑2000户。公元前121年夏的第二次河西战役中，霍去病孤军深入，以他变幻莫测的战术大败匈奴军。这次战役中，匈奴单桓王、酋涂王及相国、都尉等2500人投降，王母、单于阏氏、王子、相国、将军、当户、都尉等120多人被俘虏，匈奴兵30200人被汉军歼灭。霍去病的声望日益显赫，地位也日益尊贵。
公元前121年，在西汉与匈奴的战争中，汉对河西(今河西走廊及湟水流域)地区匈奴进行了两次纵深突袭作战。
汉武帝刘彻对匈奴发起战略反击后，先后取得了河南、漠南之战的胜利。匈奴单于和右贤王远遁大漠以北，河西仅存休屠王、浑邪王等部，势孤力单。汉武帝抓住有利时机，发起河西之战。此役分为春、夏两次作战。
二年春，汉以霍去病为骠骑将军，率精骑万人，由陇西(郡治狄道，今甘肃临洮)出发，涉狐奴水(今甘肃石羊河)，历五国，转战六天，过焉支山(今甘肃山丹东南之大黄山)，向西北挺进千余里。大败休屠王、浑邪王部，杀折兰王、卢胡王，俘浑邪王子及相国、都尉，斩获8900余人，汉军损失十分之七。
同年夏，为进一步歼灭匈奴有生力量，完全控制河西走廊，汉武帝令霍去病与合骑侯公孙敖率精骑数万，由北地(郡治马岭，今甘肃庆阳西北)出发，分两路进攻河西匈奴。霍去病率部渡黄河，经沙漠南缘，迂回至居延泽(今内蒙古额济纳旗北)，西过小月氏(今甘肃敦煌市南湖镇阳关遗址西南)，转向东南，攻至祁连山(今甘肃肃南裕固族自治县西北)，大败酋涂王，降俘6500人，斩首3万余。汉军亦伤亡十分之三。另路公孙敖部因迷失方向未能参加作战。
为策应霍去病作战，郎中令李广、卫尉张骞率骑兵万余，从右北平(郡治平刚，今辽宁凌源西北)出发，进击左贤王。李广率4000骑北进数百里，因张骞部未能按时出发，被左贤王4万骑包围，军士皆恐慌。李广命其子李敢率数十骑冲击匈奴骑兵队伍，以鼓舞士气；并将骑兵列成圆阵御敌，匈奴进攻，则弓弩齐发。激战终日，汉军箭矢将尽，李广手持强弩“大黄”，连续射杀匈奴裨将数人，缓解了匈奴的进攻。战至次日，汉军死伤过半，匈奴也伤亡很大。时张骞率万骑赶到，左贤王解围北撤，完成了牵制左贤王部的任务。
战后，伊樨斜单于怒浑邪王、休屠王惨败，欲召至单于庭诛之。二王恐，乃向汉求降。休屠王悔，浑邪王遂杀休屠王，并其众，共4万余人降汉。西汉将降众分置陇西、北地、上郡(郡治肤施，今陕西榆林市南鱼河堡)、朔方(郡治朔方城，今内蒙古杭锦旗北)，云中(郡治云中，今内蒙古托克托东北)五郡塞外，称五属国。此后，陇西、北地和河西地区少有匈奴攻略，遂减戍卒之半。
霍去病于漠南战役中脱颖而出，此次出战河西，是他第一次独立领兵作战。这位年轻的主帅，一向具有剽悍勇猛的战斗作风，不畏艰险，不怕强敌，作战时“敢深入，常与壮骑先其大军”，这极大地鼓舞了汉军的士气，激励他们英勇奋战。河西之战使汉匈双方的力量对比发生了重大的变化。此役使匈奴继失河南地后又丧失河西，其统治西部地区的根基便被彻底拔除了。此后，匈奴不仅在与汉朝争夺西域的斗争中长期陷于被动的地位，同时也在经济上遭受重大的损失。
霍去病作战时身先士卒，喜欢做先锋。公元前117年，霍去病因病而死，年仅23岁。因为他当时还不到三十岁，武帝悲痛异常，武帝给他修的陵墓外形很像祁连山，还追封为景桓侯，在墓前竖立了一尊“马踏匈奴”的石像，象征着他为国家立下的不朽功勋。
