于谨字思敬，河南洛阳人也。小名巨弥。曾祖婆，魏怀荒镇将。祖安定，平凉郡守、高平郡将。父提，陇西郡守，荏平县伯。保定二年，以谨着勋，追赠使持节、柱国大将军、太保、建平郡公。
谨性沉深，有识量，略窥经史，尤好孙子兵书。屏居闾里，未有仕进之志。或有劝之者，谨曰：“州郡之职，昔人所鄙，台鼎之位，须待时来。吾所以优游郡邑，聊以卒岁耳。”太宰元穆见之，叹曰：“王佐材也。”
及破六汗拔陵首乱北境，引茹茹为援，大行台仆射元纂率众讨之。宿闻谨名，辟为铠曹参军事，从军北伐。茹茹闻大军之逼，遂逃出塞。纂令谨率二千骑追之，至郁对原，前后十七战，尽降其众。后率轻骑出塞觇贼，属铁勒数千骑奄至，谨以众寡不敌，退必不免，乃散其众骑，使匿丛薄之间，又遣人升山指麾，若分部军众者。贼望见，虽疑有伏兵，既恃其众，不以为虑，乃进军逼谨。谨以常乘骏马一紫一騧，贼先所识，乃使二人各乘一马，突阵而出。贼以为谨也，皆争逐之。谨乃率余军击之，其追骑遂奔走，因得入塞。
正光四年，行台广阳王元深治兵北伐，引谨为长流参军，特相礼接。所有谋议，皆与谨参之。乃使其子佛陀拜焉，其见待如此。遂与广阳王破贼主斛律野谷禄等。时魏末乱，群盗蜂起，谨乃从容谓广阳王曰：“自正光以后，海内沸腾，郡国荒残，农商废业。今殿下奉义行诛，远临关塞，然丑类蚁聚，其徒实繁，若极武穷兵，恐非计之上者。谨愿禀大王之威略，驰往喻之，必不劳兵甲，可致清荡。”广阳王然之。谨兼解诸国语，乃单骑入贼，示以恩信。于是西部铁勒酋长乜列河等，领三万余户并款附，相率南迁。广阳王欲与谨至折敷岭迎接之。谨曰：“破六汗拔陵兵众不少，闻乜列河等归附，必来要击。彼若先据险要，则难与争锋。今以乜列河等饵之，当竞来抄掠，然后设伏以待，必指掌破之。”广阳然其计。拔陵果来要击，破乜列河于岭上，部众皆没。谨伏兵发，贼遂大败，悉收得乜列河之众。魏帝嘉之，除积射将军。
孝昌元年，又随广阳王征鲜于修礼。军次白牛逻，会章武王为修礼所害，遂停军中山。侍中元晏宣言于灵太后曰：“广阳王以宗室之重，受律专征，今乃盘桓不进，坐图非望。又有于谨者，智略过人，为其谋主。风尘之隙，恐非陛下之纯臣矣。”灵太后深纳之。诏于尚书省门外立牓，募能获谨者，许重赏。谨闻之，乃谓广阳曰：“今女主临朝，敢信谗佞，脱不明白殿下素心，便恐祸至无日。谨请束身诣阙，归罪有司，披露腹心，自免殃祸。”广阳许之。谨遂到牓下曰：“吾知此人。”众人共诘之。谨曰：“我即是也。”有司以闻。灵太后引见之，大怒。谨备论广阳忠款，兼陈停军之状。灵后意稍解，遂舍之。寻加别将。二年，梁将曹义宗据守穰城，数为边患。乃令谨与行台尚书辛纂率兵讨之。
相持累年，经数十战。进拜都督、宣威将军、冗从仆射。孝庄帝即位，除镇远将军，寻转直寝。又随太宰元天穆讨葛荣，平邢杲，拜征虏将军。从尔朱天光破万俟丑奴，封石城县伯，邑五百户。普泰元年，除征北大将军、金紫光禄大夫、散骑常侍。又随天光平宿勤明达，别讨夏州贼贺遂有伐等，平之，授大都督。从天光与齐神武战于韩陵山，天光既败，谨遂入关。贺拔岳表谨留镇，除卫将军、咸阳郡守。
太祖临夏州，以谨为防城大都督，兼夏州长史。及岳被害，太祖赴平凉。谨乃言于太祖曰：“魏祚陵迟，权臣擅命，群盗蜂起，黔首嗷然。明公仗超世之姿，怀济时之略，四方远近，咸所归心。愿早建良图，以副众望。”太祖曰：“何以言之？”谨对曰：“关右，秦汉旧都，古称天府，将士骁勇，厥壤膏腴，西有巴蜀之饶，北有羊马之利。今若据其要害，招集英雄，养卒劝农，足观时变。且天子在洛，逼迫群凶，若陈明公之恳诚，算时事之利害，请都关右，帝必嘉而西迁。然后挟天子而令诸侯，奉王命以讨暴乱，桓、文之业，千载一时也。”太祖大悦。会有敕追谨为（关）〔合〕内大都督，谨因进都关中之策，魏帝纳之。
寻而齐神武逼洛阳，谨从魏帝西迁。仍从太祖征潼关，破回洛城，授使持节、车骑大将军、仪同三司、北雍州刺史，进爵蓝田县公，邑一千户。大统元年，拜骠骑大将军、开府仪同三司。其年，夏阳人王游浪聚据杨氏壁谋逆，谨讨擒之。是岁，大军东伐，谨为前锋。至盘豆，东魏将高叔礼守险不下，攻破之。拔虏其卒（又）〔一千〕。因此拔弘农，擒东魏陕州刺史李（征）〔徽〕伯。齐神武至沙苑，谨从太祖与诸将力战，破之，进爵常山郡公，增邑一千户。又从战河桥。拜大丞相府长史，兼大行台尚书。稽胡帅夏州刺史刘平叛，谨率众讨平之。除大都督、恒并燕肆云五州诸军事、大将军、恒州刺史。入为太子太师。九年，复从太祖东征，别攻柏谷坞，拔之。邙山之战，大军不利，谨率其麾下伪降，立于路左。齐神武军乘胜逐北，不以为虞。追骑过尽，谨乃自后击之，敌人大骇。独孤信又集兵士于后奋击，齐神武军遂乱，以此大军得全。十二年，拜尚书左仆射，领司农卿。及侯景款附，请兵为援，太祖命李弼率兵应之。谨谏曰：“侯景少习兵权，情实难测。且宜厚其礼秩，以观其变。即欲遣兵，良用未可。”太祖不听。寻复兼大行台尚书、丞相府长史，率兵镇潼关，加授华州刺史，赠秬鬯一卣，圭瓒副焉。俄拜司空，增邑四百户。十五年，进位柱国大将军。齐氏称帝，太祖征之，以谨为后军大都督。别封一子盐亭县侯，邑一千户。魏恭帝元年，除雍州刺史。
初，梁元帝平侯景之后，于江陵嗣位，密与齐氏通使，将谋侵轶。其兄子岳阳王察时为雍州刺史，以梁元帝杀〔其〕兄誉，遂结雠隙。据襄阳来附，仍请王师。乃令谨率众出讨。太祖饯于青泥谷。长孙俭问谨曰：“为萧绎之计，将欲如何？”谨曰：“耀兵汉、沔，席卷渡江，直据丹阳，是其上策；移郭内居民，退保子城，峻其陴堞，以待援至，是其中策；若难于移动，据守罗郭，是其下策。”俭曰：“揣绎定出何策？”谨曰：“必用下策。”俭曰：“彼弃上而用下，何也？”对曰：“萧氏保据江南，绵历数纪。属中原多故，未遑外略。又以我有齐氏之患，必谓力不能分。且绎懦而无谋，多疑少断。愚民难与虑始，皆恋邑居，既恶迁移，当保罗郭。所以用下策也。”谨乃令中山公护及大将军杨忠等，率精骑先据江津，断其走路。梁人竖木栅于外城，广轮六十里。寻而谨至，悉众围之。梁主屡遣兵于城南出战，辄为谨所破。旬有六日，外城遂陷。梁主退保子城。翌日，率其太子以下，面缚出降，寻杀之。虏其男女十余万人，收其府库珍宝。得宋浑天仪、梁日晷铜表、魏相风乌、铜蟠螭（跌）〔趺〕、大玉径四尺围七尺、及诸轝辇法物以献，军无私焉。立萧察为梁主，振旅而旋。太祖亲至其第，宴语极欢。赏谨奴婢一千口，及梁之宝物，并金石丝竹乐一部，别封新野郡公，邑二千户。谨固辞，太祖不许。又令司乐作常山公平梁歌十首，使工人歌之。
谨自以久当权势，位望隆重，功名既立，愿保优闲。乃上先所乘骏马及所着铠甲等。太祖识其意，乃曰：“今巨猾未平，公岂得便尔独善。”遂不受。六官建，拜大司徒。
及太祖崩，孝闵帝尚幼，中山公护虽受顾命，而名位素下，群公各图执政，莫相率服。护深忧之，密访于谨。谨曰：“夙蒙丞相殊睠，情深骨肉。今日之事，必以死争之。若对众定策，公必不得辞让。”明日，群公会议。谨曰：“昔帝室倾危，人图问鼎。丞相志在匡救，投袂荷戈，故得国祚中兴，群生遂性。今上天降祸，奄弃庶寮。嗣子虽幼，而中山公亲则犹子，兼受顾托，军国之事，理须归之。”辞色抗厉，众皆悚动。护曰：“此是家事，素虽庸昧，何敢有辞。”谨既太祖等夷，护每申礼敬。至是，谨乃趋而言曰：“公若统理军国，谨等便有所依。”遂再拜。群公迫于谨，亦再拜，因是众议始定。
孝闵帝践阼，进封燕国公，邑万户。迁太傅、大宗伯，与李弼、侯莫陈崇等参议朝政。及贺兰祥讨吐谷浑也，谨遥统其军，授以方略。
保定二年，谨以年老，上表乞骸骨。诏报曰：“昔师尚父年踰九十，召公奭几将百岁，皆勤王家，自强不息。今元恶未除，九州不一，将以公为舟烜，弘济于艰难，岂容忘二公之雅操，而有斯请。朕用恧焉。公若更执谦冲，有司宜断启。”三年四月，诏曰：“树以元首，主乎教化，率民孝悌，置之仁寿。是以古先明后，咸若斯典，立三老五更，躬自袒割。朕以眇身，处兹南面，何敢遗此黄发，不加尊敬。太傅、燕国公谨，执德淳固，为国元老，馈以乞言，朝野所属。可为三老，有司具礼，择日以闻。”谨上表固辞，诏答不许。又赐延年杖。高祖幸太学以食之。三老入门，皇帝迎拜门屏之间，三老答拜。有司设三老席于中楹，南向。太师、晋国公护升阶，设几（施）〔于〕席。三老升席，南面凭几而坐，以师道自居。大司（马）〔寇〕、楚国公宁升阶，正舄。皇帝升阶，立于斧扆之前，西面。有司进馔，皇帝跪设酱豆，亲自袒割。三老食讫，皇帝又亲跪授爵以酳。有司撤讫。皇帝北面立而访道。三老乃起立于席后。皇帝曰：“猥当天下重任，自惟不才，不知政治之要，公其诲之。”三老答曰：“木受绳则正，后从谏则圣。自古明王圣主，皆虚心纳谏，以知得失，天下乃安。惟陛下念之。”又曰：“为国之本，在乎忠信。是以古人云去食去兵，信不可失。国家兴废，莫不由之。愿陛下守而勿失。”又曰：“治国之道，必须有法。法者，国之纲纪。纲纪不可不正，所正在于赏罚。若有功必赏，有罪必罚，则有善者日益，为恶者日止。若有功不赏，有罪不罚，则天下善恶不分，下民无所措其手足矣。”又曰：“言行者立身之基，言出行随，诚宜相顾。愿陛下三思而言，九虑而行。若不思不虑，必有过失。天子之过，事无大小，如日月之蚀，莫不知者。愿陛下慎之。”三老言毕，皇帝再拜受之，三老答拜焉。礼成而出。
及晋公护东伐，谨时老病，护以其宿将旧臣，犹请与同行，询访戎略。军还，赐钟磬一部。天和二年，又赐安车一乘。寻授雍州牧。三年，薨于位，年七十六。高祖亲临，诏谯王俭监护丧事，赐缯彩千段，粟麦五千斛，赠本官，加使持节、太师、雍恒等二十州诸军事、雍州刺史，谥曰文。及葬，王公已下，咸送出郊外。配享于太祖庙庭。
谨有智谋，善于事上。名位虽重，愈存谦挹。每朝参往来，不过从两三骑而已。朝廷凡有军国之务，多与谨决之。谨亦竭其智能，弼谐帝室。故功臣之中，特见委信，始终若一，人无间言。每教训诸子，务存静退。加以年齿遐长，礼遇隆重，子孙繁衍，皆至显达，当时莫与为比焉。子寔嗣。
寔字宾实，少和厚。年未弱冠，入太祖幕府，从征潼关及回洛城。大统三年，又从复弘农，战沙苑。以前后功，封万年县子，邑五百户，授主衣都统。河桥之役，先锋陷阵。军还，寔又为内殿，除通直散骑常侍，转太子右卫率，加都督。又从太祖战于邙山。十一年，诏寔侍讲东宫。侯景来附，遣寔与诸军援之，平九曲城。进大都督，迁仪同三司，加散骑常侍。十四年，除尚书。是岁，太祖与魏太子西巡，寔时从。太祖刻石于陇山之上，录功臣位，以次镌勒，预以寔为开府仪同三司。至十五年，方授之。寻除滑州刺史，特给鼓吹一部，进爵为公，增邑二百户。魏恭帝二年，羌东念姐率部落反，结连吐谷浑，每为边患。遣大将军豆卢宁讨之，踰时不克。又令寔往，遂破之。太祖手书劳问，赐奴婢一百口，马一百疋。孝闵帝践祚，授民部中大夫，进爵延寿郡公，邑二千户。又进位大将军，除勋州刺史，入为小司寇。天和二年，延州蒲川贼郝三郎等反，攻逼丹州。遣寔率众讨平之，斩三郎首，获杂畜万余头。乃除延州刺史。五年，袭爵燕国公，进位柱国，以罪免。寻复本官，除凉州总管。大象二年，加上柱国，拜大左辅。隋开皇元年，薨。赠司空，谥曰安。
