谢尚，字仁祖，为豫章太守谢鲲之子。从小就有孝亲之情。七岁丧兄长，其哀恸之态超出礼法，亲戚无不感到奇异。到八岁，显得聪明早熟。
谢鲲曾携带谢尚为宾客饯行，有客人说：“这小儿乃是座中的颜回啊。”谢尚应声答道：“座中无仲尼，怎能辨别出颜回！”一席宾客无不惊叹。
十余岁，逢父丧，丹杨尹温峤来家吊唁，谢尚号啕大哭，哀伤至极。之后擦干眼泪诉说经过，举止言语大异于寻常儿童，温峤十分看重。及至长大成人，聪明坦率智能超群，分辨理解无与伦比，行为洒脱不拘细节，不做流俗之事。他喜欢穿绣有花纹的衣裤，叔伯们责怪他，他因此改掉了这一嗜好，于是显名于世。
谢尚擅长音乐，广通多种技艺。司徒王导十分器重他，把他比做王戎，常称他为“小安丰”，召为属官。承袭父亲封爵咸亭侯。谢尚刚到司徒府通报名帖，王导因为府上正有盛会，便对他说：“听说你能跳《鸲鹆舞》，满座宾客渴望一睹风采，不知你可否满足众人意愿？”谢尚说：“好。”便穿好衣服戴上头巾翩翩起舞。王导让座中宾客拍掌击节，谢尚在广众之中俯仰摇动，旁若无人。谢尚就是如此率直任意。
谢尚迁职西曹属。其时有一些人因战乱遭逢父母离绝的不幸，议论者中有人认为做官管理国家大事，婚姻延续百代世系，在道理上并无妨碍。谢尚议论说：“典法礼仪的建立，都是遵循情理，开启弘扬礼义道德。如果命运中遇到艰难不幸，就应该以大义作决断。无后之罪，天地所不容，婚姻家庭乃是延续世系光大宗族的根本，这无疑不可阻滞。至于亲属生离的悲哀，父子死别的痛苦，悲痛之沉重，莫过于此。因身患不适的小病，尚且有损于视听，使人忘却思索考虑，更何况怀抱伤心之巨痛，悲哀之至忧，方寸已乱，怎能管理国家政务呢！有良知的人决不贸然谋求荣耀利禄。贪图利禄荣耀这一类，也决非是有良知的人所追求的本旨，只会开启轻薄之门而长流弊之风。那些执意隐居田园不求仕进、守志不改的人，尚且应推崇他们的节操以弘扬高洁的风尚，更何况那些含悲怀痛的不幸之人，还要去鼓励他们谋取富贵荣耀吗？”
谢尚迁职会稽王友，入朝补任给事黄门侍郎，出任建武将军、历阳太守，改任都督江夏义阳随三郡军事、江夏相，将军封号不变。当时安西将军庾翼镇守武昌，谢尚多次前往庾翼处商议谋划军事。曾与庾翼一起练习射箭，庾翼说：“你如果射中箭靶，我就将我的鼓吹赠送给你。”谢尚应声拉弓，箭中靶心，庾翼当即将他的副鼓吹送给了谢尚。
谢尚为官清廉，理政简易，刚到任，郡府用四十匹布为谢尚造乌布帐。谢尚将其拆散，拿去为将士们做了衣裤。建元二年（344），朝廷下诏书说：“谢尚早先因征战戍边的需要，所以免去了其黄门侍郎之职，而授予他以军中职务。谢尚所处形势险要，应提高其威信声望。现任命他为南中郎将，其余官职不变。”适逢庾冰病逝，朝廷又命谢尚以原本职号都督豫州四郡，兼江州刺史。不久又改任西中郎将、督扬州之六郡诸军事、豫州刺史、假节，镇守历阳。
大司马桓温打算北伐中原，派谢尚率部进攻寿春，晋号为安西将军。当初，苻健部将张遇向谢尚投降，谢尚对他不加安抚。张遇十分恼怒，举起反旗占领许昌。谢尚率兵讨伐，为张遇所打败，谢尚被送交给廷尉治罪。当时康献皇后临朝执政，就是谢尚的外甥女儿，特令将谢尚降职为建威将军。开始，谢尚前往寿春，派建武将军、濮阳太守戴施据守枋头。适逢冉闵之子冉智与其大将蒋干来归附，又派使者刘猗前往谢尚处请求援救。戴施留住刘猗，询问求取传国玺，刘猗返回，将事情原本告诉蒋干。蒋干认为谢尚已败，无法援救自己，便犹豫不决。
戴施派遣参军何融率壮士一百人冲破包围进入邺城，登上三台帮助守城，何融骗蒋干说：“现在可以把传国玺交付给我。强寇在城外，道路封锁难行，我等也不敢贸然运送传国玺，可派一名使者冲出城去奔告朝廷。天子闻知传国玺已在我处，知道足下等人至诚之心，必定派遣大军救援，并将厚封足下等人。”蒋干便把传国玺交给了何融，何融携带传国玺奔驰而去返回枋头。谢尚派振武将军胡彬率三百骑兵迎接传国玺，送至京师。当时苻健部将杨平戍守许昌，谢尚派兵袭击许昌，打败了杨平，谢尚被征召回朝，授职给事中，赏赐轺车、鼓吹，戍守石头城。
永和年间（345～356），谢尚升迁尚书仆射，出任都督江西淮南诸军事、前将军、豫州刺史，给事中、尚书仆射不变，镇守历阳，加封都督豫州扬州之五郡军事，在任颇有政绩。上表天子请求回朝，因而留任京师，代理尚书仆射事。不久谢尚晋号为镇西将军，镇守寿阳。谢尚于是搜集查访民间乐人，并制造石磬，为朝廷准备太乐。江南一带有钟石之音乐，是从谢尚开始的。
桓温北伐平定洛阳，上疏朝廷请求任命谢尚为都督司州诸军事。谢尚准备前往洛阳守城，因病未上任。升平初年（357年），谢尚又被任命为都督豫、冀、幽、并四州。病重，征召回朝拜官卫将军，加散骑常侍，未至，病逝在历阳，终年五十岁。朝廷封赠为散骑常侍、卫将军、开府仪同三司，谥号为简。
谢尚无子，堂弟谢奕将儿子谢康过继给谢尚承袭其爵位。
