光阴荏苒，岁月流逝，转眼魏征已过弱冠，这时传来了让魏征和他父亲都心动的消息，离内黄不过百里之遥的洹水（今河北魏县西南）杜氏正玄、正藏、正伦三兄弟同时举秀才。在隋代，科举选人，全国才十来名，杜氏一门便出了三人，天下儒士何等心仪。魏征想，他人行，难道我就不行？是不是也该去试一试。然而，父亲的病一直不见好转，而且还在日渐加重。“父母在，不远游”，更何况老父沉疴在身，自己怎能弃之不顾而宦游他乡！他决心留在家里，照料父亲，服侍汤药，有暇则博涉经史，以待来日。
然而，运交华盖，魏征真是祸不单行。严父痼疾渐入膏肓，慈母又因劳累、焦急，为风露所侵，感染时疫，竟至不起。父亲患病前，他专心读书，一切家务全不管，想管也不许管。父亲卧病，里外有慈母操劳，他除请安侍药外，其余也可不问，想问也不让问。而如今，他不仅得四处奔走，延医访药，还得操持家务，油、盐、柴、米、酱、醋，样样得亲自料理。家庭经济也是问题，收入日渐减少，开支与日俱增，告贷典当，拆东墙补西墙，也不时难免有断炊之虑。这些日子，魏征历尽了世态炎凉，饱尝了人间辛酸，熟谙了众生百态，这对体察民情、了解社会，为日后辅佐唐太宗李世民治国施政虽大有裨益，但在当时他可是焦头烂额了。
一切努力都无济于事，仁寿间，父母亲带着对儿子的无限希望相继离开人世。魏征无力将双亲灵柩运回祖籍馆陶，只得满怀悲痛，让二老暂在内黄安息，等待日后自己有了出头之日时，再请先考妣魂归故里。
现在，魏征又面临新的人生选择，往后的路该怎么走呢？按正常途径，他可向州县怀牒自荐，像杜氏兄弟一样，通过考试求取功名，那就得为当今皇朝尽忠效力。然而，对此他一直心有疑虑，父亲在世时已多次与他探讨过这个问题，不久前朝廷发生的变故更强化了他原先的认识。
开皇二十年（600年），太子杨勇突然被废，取而代之的是晋王杨广，这显然是不祥之兆。杨勇作为长子，按照封建时代以长不以贤，以嫡不以庶的原则，当太子是天经地义的事，更何况杨勇很有政治头脑，颇具治国才能。开皇初年，由于战乱，山东一带流民众多，不便管理，杨坚派员巡察，打算将他们强制遣送至边境不毛之地，杨勇当即上书指出：怀恋故土，是人之常情，其所以流亡，是迫于不得已。现战争虽已结束，但破坏了的经济尚未恢复，若用几年时间好好安抚，流亡在外的百姓自然会回到本乡。他建议用怀柔替代武力，无疑有利于社会秩序的稳定，被采纳后，果然山东迅速安宁。杨勇又经常对时政提出意见，都很有见地。他作为太子抚军监国20年，对隋朝的创建是有功的。杨勇的问题出在个性太直，不懂“矫饰”，用今天的话说，叫做不会伪装，不玩两面派，不懂得怎样讨父母的欢心。至于生活作风不够检点，对于皇室贵公子来说，根本就算不了什么，但因此遭小人陷害而被废黜，全国臣民都清楚，这无疑是冤屈。从历史上看，无辜废太子，起觊觎之心，没有不出乱子的。魏征以敏锐的政治洞察力和精于形势分析的能力，深知事态严重，预感到这隋室的气数也难以长久，他不能将自己的命运拴在杨氏的奔车朽索上。
仁寿四年（604年），皇上暴崩，虽宫禁之事隐秘，朝廷内外还是议论纷纷，均传言太子杨广趁父皇患病之时，强暴其父宠妃，事情败露，遂谋害圣上至死，于是杨广即位，是为隋炀帝。杨广一登基，就将大哥前太子杨勇处死，并斩草除根，先后将杨勇的10个儿子全部杀害。与此同时，杨广又向他的幼弟汉王杨谅下手。杨广同胞兄弟一共5人，大哥杨勇已被他除掉，三弟秦王杨俊在4年前病死，四弟越王杨秀两年前遭杨广暗算被废为庶人，正处幽闭中，剩下就是小弟汉王杨谅。杨谅时任并州总管，统山东52州，拥兵数十万，有权便宜从事，不拘律令，这对杨广无疑是巨大的威胁。所以，他一即位，就假杨坚名义以玺书征杨谅回京师，谁知杨坚先前曾与杨谅有约，凡玺书必着暗号，因此杨广的伪玺书就被杨谅看穿。杨谅对杨广当太子本来就不服气，时下京城有变，传言四起，明知有诈，遂起兵反抗，虽然很快就被镇压，但也引发了一场规模不小的战争。
如果说以上血腥倾轧、阴谋暗害都仅限于皇室骨肉同胞之间的生死搏斗，和普通平民百姓尚无多大直接关系的话，那么以下发生的事则与广大民众的命运息息相关了。
杨广虽然登上了龙位，也除掉颇有威胁的杨勇、杨谅，但他住在长安总不放心，逆伦之举毕竟太出格了。一个人在做了亏心事的地方，往往难以安生度日，特别是干了丧尽天良之事，不管外表多么从容，内心深处不能无愧。
杨广父母都是佛教忠实信徒，其父杨坚出生于冯翊（今陕西大荔县）般若寺，由一女尼抚养长大，从小对佛教有深厚感情。佛教在北周时曾受严重打击，杨坚代周后立即大力兴复。家庭的信佛传统使杨广自幼深受影响。开皇十一年（591年）他第二次出任扬州总管，其时全国正掀起兴佛高潮，杨广不顾皇子尊严受了菩萨戒，表示皈依佛门，而佛门是讲因果报应的，这就使他精神时时处于高度紧张状态。阴谋的得逞他极度兴奋；害怕恶行恶报使他恐惧万分。对大哥杨勇护军监国20年，在京城的势力和影响他也没有信心一下子铲除干净，他想换换环境，以免触景生情，勾起那些令他难堪而不愿回首的往事，于是决定迁都。仁寿冬，他当上皇帝才100多天，便匆匆离开长安，十一月初三到达洛阳，第二天即下令调遣民工几十万人掘长堑，自龙门（今山西河津县）起，东接长平（今山西高平县）、汲郡（今河南卫辉市），抵临清关（今河南新乡市东北），渡河至浚仪（今河南开封市西北）、襄城（今河南临汝），西折至上洛（今陕西商县），这一长达 近 两 千 里 的“凹”字形壕堑像长城一样可以阻止人马通过，用以护卫洛阳。当年秦始皇修万里长城选址在边境，虽也使成千上万人葬身塞北，但总还有利于防止异族侵扰，而杨广掘长堑则是在中原腹心地区，自然是对付自家人，怕他们起来反抗。这表明杨广从上台之日起就将自己置身于与广大民众的对立之中，另外也反映了他内心的恐惧与不安。
越恐惧越需要刺激，享乐就成了最佳的安魂剂。同年十一月二十一日，杨广下令掘长堑后的第17天，他又下令在洛阳营建东都。4个月后即大业元年（605年）三月十七日再下诏，每月征调夫役200万人，在东都大修宫殿，征发大江以南、五岭以北的奇材异石，全国的佳木芳草、珍禽奇兽输送到洛阳充实园苑。另在洛阳西面筑西苑，周围200里，苑内有海，周长10多里，海中造蓬莱、方丈、瀛洲三座仙山，山上建台观殿阁，仿佛仙境；海北修龙鳞渠，迤逦流入海内，沿渠作十六院，门都正对水渠，每院以四品夫人一名掌管。堂殿楼观，穷极华丽，宫树秋冬凋落，剪彩绢成花叶，缀满树上，颜色坏了则即时更换新的，使四季如春。与此同时，又前后征发河南、淮北各郡百余万人开通济渠、邗沟，使水运能从长安直达江都（今江苏扬州），另沿渠置离官40余所，江都宫尤其壮丽。
杨广在即位不到1年的时间里，便同时调遣几百万民工服役，如果这些劳力分别来自全国各地，这样的劳役即使深重，民众也还能勉强忍受，可现在是这些劳役主要集中在山东、河南、淮南诸郡，就使得以上地区民众无法承受。而且，掘长堑、营东都、修通济渠、邗沟，工程期限都十分紧迫，几个月内便得完工，官吏督役严峻急切，十之四五役丁悲惨死去，装运尸体的车辆相望于路，络绎不绝。这样，杨广在几个月内，就置民众于水火，而这还仅仅是开始，接踵而来的游乐与耀武，更把全国百姓逼至绝境。
大业元年（605年）秋，洛阳至江都的水路全部贯通，八月十五日，杨广率后宫、诸王、公主、百官、僧、尼、道士以及侍从警卫计20万人，从洛阳乘龙舟去江都，大小船只相接达200余里，两岸骑兵护卫，一路浩浩荡荡，旌旗蔽野。所过州县，五百里内皆令献食，有的一州竟献至百车，全是水陆珍奇，后宫吃不了，临行时挖坑埋掉，多少民脂民膏，就被如此糟蹋了。从这开始，杨广每年外出游幸，所到之处，穷奢极欲，暴殄天物，史无前例。杨广四处游玩，纵情声色，使他肉体享受到无比的快乐，但灵魂照样空虚，于是他又发动战争，炫示武力，妄图用武功来求得精神上的满足。
大业四年（608年）元月，诏发河北民工百万修永济渠，自黄河北通涿郡（治蓟县，今北京西南），运送军队及军需物资用以攻打高丽。男丁不足，乃以妇女充役。大业七年（611年），杨广自江都乘龙舟抵达涿郡，下令征天下兵，无论远近到涿郡集结，于是全国四面八方到处是奔走的人流。又令在东莱（今山东掖县）海口赶造战船300艘，官吏督工严急，工匠日夜站立水中，不得稍许休息，腰部以下都腐烂生蛆，死亡十之三四。再令河南、淮南、江南造军用车5万辆送高阳（今河北高阳县），供载衣甲幕帐用，让兵士拉车。与此同时，发河北、河南民夫运送军需，发江淮以南民夫及船运米至涿郡，舳舻相次达千余里，来往在路上运载武器装备的经常达几十万人，昼夜不绝，累死的民夫一个挨一个陈尸路旁，臭秽熏天。山东郡县百姓负担尤其沉重，民夫运米，自备车牛，一去就回不来，役夫大半死亡，田土无人耕种，大多弃置荒芜，加上饥馑，谷价飞涨，斗米至数百钱。
在这样的乱世，魏征宁肯躬耕于垄亩，也不去做隋朝的官，政治上失意是必然的。所幸家中留有一份田产，只需付出一定的劳动，便无冻馁之虞。尤为可喜的是，世代书香的家庭还保存了丰富的图书典籍，更是完成学识的奠基不可缺少的。魏征同许多乡间知识分子一样，在耕耘之余，勤奋攻读。他喜爱读书，又好求甚解，不仅熟读儒家经典和诸子百家之说，研究历朝兴衰得失，而且能够融会贯通，从中汲取有益的养分，逐步形成自己的见解。后来他辅佐唐太宗开创“贞观之治”时所阐发的极富特色的施政方针、理论思想和治国措施，有许多是在这一时期发端的；卓越的史才和文才，也是在这一时期孕育的。他于落魄中自强不息，发奋攻读，把自己造就成为一个博通经史、才华出众的硕学宏儒。
魏征还广泛涉猎医药、天文、地理以及农艺、园艺等经世致用之学，有关他深通医道的传闻很多，评书《隋唐演义》中，就有关于他为秦琼、裴仁基等人治好疑难杂症的佳话。
古语云：“欲治其国，先齐其家。”魏征平时瞩意学问，不大关心经营资产的事。然而，他既然熟知天文、地理、朝政、民情，齐家当然不在话下。相传，魏征曾经替其叔父管家一年，所提的条件是：一切事情都由他做主，不许叔父中间插杠子，就是一年颗粒不收也不能干涉。春天，魏征叫庄丁们左一遍、右一遍地耕地，干多干少不查问，就是不准播种。他把两个如花似玉的堂妹叫出绣房，让她俩挎着篮子到地里掐苜蓿，晾干了再背回来，而且每天只准洗手，不准洗脸，衣衫脏了、破了也不准换洗。两个堂妹虽然满心不高兴，也只得依着办。不久，隋炀帝派人到这一带来挑选美女，充实行宫，老远就见魏家姑娘蓬头垢面，衣衫褴褛，以为不是疯就是傻，连照面也没打，就走开了。一场大祸就这样避免了，两个堂妹打心眼里佩服魏征的见识。
小满节刚过，魏征就派长工们割麦、打麦，收成的麦子又秕又瘦，别人家的麦子还未开镰，他家的麦子就入囤了。没过两天，一场罕见的冰雹袭来，把乡亲们地里的麦子、夏苗，都砸光了，魏征便把晾干的苜蓿分给乡亲们度荒。他把耕熟了的地全部种上了黍子，这种地里种黍子，收成格外地好，别人家也在雹灾毁了豆苗的地里种上了黍子，但那叫“冷地”，长得不好。这一年，四乡五县都收了黍子，魏征家便开了个粮店专门收购黍子。不久，隋炀帝要下江都，要开挖新河道，下令花大价钱收购黍子，用以冲船，魏征家把黍子全部卖给官家，获得了可观的收入。
这个故事虽然带有浓厚的传奇色彩，然而却从某些侧面反映了魏征不仅深谙朝政民情，总揽天下风云，而且熟知天文、农艺等应用科学，是一个博学多才的技术能手。
由上述情况可见，魏征在落魄的前半生中，并没有像某些不得志的书呆子那样穷愁潦倒，而是在失意中自立自强，以极其广博丰富的学识，全方位地充实了自己，把自己造就成一个济世良才。
魏征长期以普通老百姓的身份，生活在民间，和乡亲们一起忍受着官府的盘剥敲诈和豪强的欺凌，经受天灾人祸的苦难，因此，他深知基层人民的疾苦、要求和希望，在同甘共苦之中，与他们结下了深厚的情谊。
据说，魏征在家乡赵魏村种地时，不摆书生架子，泥里来，土里去，经常和乡亲们围坐在一起拉家常，很像个庄稼汉的样子。有一次，有位乡亲说：“你有这么高的学问，不去求官，当这庄稼汉，谁也瞧不起呀！”魏征郑重地回答：“依我看，庄稼汉应该受到尊重，人都得吃饭，庄稼汉的功劳最大啊！当今皇上昏庸无道，变着法儿地折腾老百姓，我觉得当个庄稼汉，比为官侍奉昏王强百倍哩！”
后来，魏征当了唐朝的宰相，辅佐太宗实行清静无为、与民生息的政策，实现了天下大治。有一天，唐太宗在金殿上把手一举，勾起中间三个指头，只伸着大拇指和小手指，打了一个哑谜说：“朕大治天下，这两个庄稼汉功劳可真不小啊！”魏征马上悟出，这大拇指说的是他魏征，小手指说的是黎民百姓。于是，他只伸出一个小手指说，“臣也是这一个庄稼汉。”唐太宗哈哈大笑说：“魏爱卿处处能猜透我的心意。”
魏征做了宰相以后，依然保持着庄稼汉节俭、质朴和率直的品格，这就使他的官德和从政方略具备了鲜明的特色。此外，巨鹿下曲阳方言，也颇具特色，发音措辞都比较刚倔。比如，第三人称中，没有尊称，不分长幼，一律互称“你”。“您”字读为“nei”泛指“你”或“你们”，而不用于尊称，“干什么”，说“做（读为zou）嘛”；“行不行”，说“沾不沾”，认为某种做法一定不行或不可以，则说“那不沾”。据说，魏征入相以后，唐太宗非常尊重他的意见，有时候想办成某一件事，特别是涉及个人享乐之类的事，最害怕魏征说“那不沾”。魏征耿直倔强的性格，加之一口刚倔的乡音方言，就更使他显出几分庄稼汉的色彩。
半生落魄，使魏征有机会作为一个平民百姓与人民群众同甘苦、共患难，这使他深深体察到基层人民生计的艰难，饱受皇室、官府压迫的痛苦，以及农民渴望英明君主和安定的生存环境等的要求。这一切，对他颇具特色的“民本”思想的确立，对他“行德政，重教化，无为而治，与民生息”的施政方针和治国良策的孕育，对他“行正戒邪、心底无私”的高尚官德的形成，无疑有着极为深远的影响。
