元丰元年至四年，风调雨顺，连年丰收，庶民安居乐业。新法所至，如东风送春，时雨润物，万物复苏，兆民得宁，安石以激情颂之。
在《后元丰行》里写道：
歌元丰，十日五日一风雨。
麦行千里不见土，连山没云皆种黍。
水秧绵绵复多□，龙骨长干挂梁□。
鲋鱼出网蔽洲渚，荻笋甘美胜牛乳。
百钱可得酒斗许，虽非社日长闻鼓。
吴儿踏歌女起舞，但道快乐无所苦。
老翁堑水西南流，杨柳中间□小舟。
乘兴欹眠过白下，逢人欢笑得无愁。
说这几年风调雨顺，是就大体而言，一时一地水旱自不可免。四年夏季，江南缺雨亢旱，农人久盼时雨，心急如焚。这夜大雨沛然，旱象解除。次日，安石乘驴访湖阴先生，与其分享得甘霖之喜悦。二人置酒相庆，侃侃而谈。望着门前田垅秀发，诗兴益浓，安石吟《元丰行示德逢》：
四山□□映赤日，田背□如龟兆出。
湖阴先生坐草室，看踏沟车望秋实。
雷蟠电掣云滔滔，夜半载雨输亭皋。
旱禾秀发埋牛尻，豆死更苏肥荚毛。
倒持龙骨挂屋敖，买酒浇客追前劳。
三年五谷贱如水，今年西成复如此。
元丰圣人与天通，千秋万岁与此同。
先生在野固不穷，击壤至老歌元丰。
日将午，德逢留饭，安石坚辞返园，知其性，只好由他去也。
安石跨驴行于野次，忽遇吕嘉问，问：“望之何来？”嘉问道：“趋半山园谒公未遇，回城客馆，拟明日再来，不期邂逅于此。”安石下驴，与嘉问坐于道旁，以随带杌子递嘉问，自己坐于草地。嘉问道：
“前年徙知润州，台谏又劾我市易务事，远谪临江军。今上又召我回京，路经金陵，顺道谒公。迩来公可安康？”安石道：“野性之人，还适蒋山，你已到半山园看过，安石尚觉自在。”嘉问道：“知公不愿乘轿抬行，何不乘御赐马代步？”安石道：“或因御马娇贵，吃不惯山草而死，后买此驴驱使。山泽野草，尽够喂它，外出顺带一袋干粮，我与牵卒吃剩，尽是它的。”嘉问道：“公不必如此克己。”安石道：“人以为苦，我以为乐，山泽野性，本不是官场人。”嘉问道：“今四夷归附，夏、辽亦少起衅。当此太平之世，朝廷本应着力整饬内务，推进新法。如民苦田亩不清赋税不均，而方田均税法推行不力，各州县以试行为名，其实拖延。再如河屡决口，生民涂炭，而朝廷只修修补补，堵塞而已。又闻朝廷欲兴大兵，倾国力以伐西夏，嘉问深以为忧。皇上素敬我公。公一言重九鼎，可否上书皇上，重兴内政，勿恣意兴兵。”安石道：“望之言是。安石在位时，素重内政更革，边防大计亦在充实财力与更革兵制，重在防御。招纳蕃部，乃为削西夏，非务扩张也。今安石隐退，自有当国人，况上未诏问大计，怎好进策？望之应念我处境，不言为是。”嘉问道：“于理固当如此，就不聒耳了。”语甚久，日已西，嘉问语左右移伞就相公。安石阻道：“不需，若使后世做牛，还须着他日头下耕田。”嘉问道：“相公先回家休息，明日再趋半山园领教。”安石道：“明日陪望之蒋山一游。”嘉问告谢回城，安石亦返半山园。
神宗久以兵败西夏岁输银帛为耻，志欲制服西贼。经十多年之经营，日今内则财充库丰，民力康阜；外则诸蕃内附，扩土河、洮；尤以置将、保甲次第成法，昔日国弱之势顿改。上及边将均跃跃欲试，以雪前耻。恰在这时，西夏国内大乱。原来，夏惠宗秉常年满十六岁后亲政，但实权仍被梁太后控制。夏大安七年（宋元丰四年）三月，夏将李清献计通好宋朝，借助其力削弱母党势力。秉常遣李清去宋联络，事被梁氏发觉，先将李清处死，又将秉常囚禁。消息传出，秉常亲党与各部酋长率所部与梁氏对抗，于是国内大乱。五月，保泰统军禹藏花麻以秉常失位，请宋发兵征讨。
神宗以为机不可失，决定出兵大举伐夏。这时首辅吴充、参知政事章均罢，王圭领中书，蔡确参知政事；枢密使冯京、副使薛向亦罢，孙固、吕公著、韩缜同知枢密院事。虽孙固、吕公著劝勿兴兵，上怎会听得，于是诏令五路攻夏。四年六月，熙河路经略使李宪出兵熙河，延总管种谔出兵绥德，环庆路经略使高遵裕出兵环州，泾原副总管刘昌祚作出兵原州，签书河东路经略使王中正出兵麟州，分兵五路围攻西夏。消息传到兴庆府，梁太后慌忙分遣各监军司兵，委大帅梁永能总领抵御。
初，五路宋军锐不可当。李宪攻入夏境，禹藏花麻率部弃城撤走，驻西使城首领讹勃哆率兵万人投降。梁乙埋驰援不及，退守龛谷。龛谷是夏藏粮之处，称“御庄”。李宪乘胜攻破龛谷，发谷与兵器窖藏，乘胜进破兰州。自此兰州入宋版图。李宪上疏清筑城建帅府。种谔率本部九万多兵，出绥德，攻米脂砦。梁永能领八万兵增援，被种谔击败，夏兵相互践踏，死者无数，无定河为之堵塞，夏米脂守令出城降。宋军进围石州，州将引兵败逃。种谔乘胜挥兵抵夏州，知州弃城而逃。次日，迅急兵趋银州，守将献城降宋。王中正兵出麟州，过无定河，循水北进，一路沙碛沼泽，行军迟缓，阅一月方抵宥州。
夏兵早遁，留下一座空城，城中所留老弱残病五百余家，尽遭屠杀。
高遵裕率步骑八万七千出环州，沿白马川进军，直逼夏靖远军司，守将鬼名嗯知不能敌，举城投降。宋兵至韦州、夏兵弃城已逃。高遵裕下令禁毁官寺、民舍，以示招怀。刘昌祚率本部蕃汉兵五万余出原州，入夏境。梁乙埋督十万兵扼守磨移隘口阻截。刘昌祚先遣牌子军渡葫芦河，与夏兵决战，夏兵溃败，隘口失守。梁乙埋督亲军再战，又败。其大首领、监军被杀、梁乙埋之侄等二十余将校被俘，士兵死亡二千余人。刘昌祚乘胜出隘口，取鸣沙州，得夏御仓藏粮百万石。
夏军接连失利，节节败退，梁太后束手无策，问计于群臣，诸将皆请出战。罔萌讹反问道：“我军伤亡惨重，宋军气锐。将现存之十万精兵尽驱拒敌，若胜还可，若败，兴、灵之地赖何以保？兴、灵不保则国亡矣！”诸将愤语道：“然则坐以待毙乎！”罔萌讹道：“为今之计，各路主力均回撤至兴、灵周围，诱敌深入，一则巩固兴、灵防守；二则坚壁清野，并以轻骑抄其后、断其粮秣供应。宋军无粮，不战而自困矣，然后伺机反攻，则稳操胜券。”梁太后从其议，下令全国坚壁清野，宋军所至，不许留下一粟一木，尽行焚毁，否则以通敌论。又尽撤各路主力，驻防兴州要冲，并令各监军司以轻骑扰宋军后，断其粮秣补给，以困宋军。
十一月，刘昌祚率军先攻到灵州城下，继之高遵裕率兵赶到。两路军将灵州围得水泄不通，接连攻打十八天，城仍不破。这时，由于夏人坚壁清野，食宿困难，粮道又断，大军无食难以支持，而其他三路援军又不至。原来种谔攻下银、夏，安置各州事须稽留，难以冒进。
王中正举兵观望，行动迟缓。尤以李宪攻入兰州后，忙于筑城，按兵不动。五路合围落空。时已冬腊，塞外冰封，朔风凛冽，宋军饥寒交加，渐不能支。夏军看是时候，决七级渠水灌宋兵营。宋兵冻、溺死者无数，灵州城下宋军十余万，逃生者仅一万三千人。种谔、王中正二路大军也由于粮草断绝，先后溃败，兵员损失惨重。
五路溃败消息报到朝廷，神宗大惊。是其决意用兵，又自指挥，罪不得辅臣。五路中高遵裕、刘昌祚进兵神速，虽军溃没，情有可宥。
按律失军期或不至者当斩，本该罪究李宪、王中正，但二人又系近习宠宦，上狠心不得。因此，神宗难以面对臣下，悲愧交加，每日只是唉声叹气，以至成疾。县君杜氏看到眼里，心中明白，劝解道：“勿为伐夏事过分伤神。常言吃一堑长一智，重在吸取教益。凡事不可自专，安石在位，汝尚听得几分，日今孙固、吕公著谏言难以听得，致有今日之败。”上道：“容朕顶嘴。若不失军期，以我之兵力破夏必矣。只怪李宪、王中正、种谔几个。”杜氏道：“伐人之国，安得敌国人心，于理已有亏；且兵临敌国境，深入异土，四面楚歌，地利、人和皆失，而又不协同，各自为军，岂有不败之理。汝应自深思矣！”上道：“容朕深思。今当如何？”杜氏道：“这几年汝忙于伐人国，松懈内政更革。乐见连年丰收，但勿以为无事，当勤修内政才是。汝家务亦当理矣，子女养育，从不过问，且煦、俣等儿已长七八岁，当受教矣。林、陈、朱、武四妃，均育有皇嗣，亦当进封。”上道：“谢娘提醒。但多年尤使朕不安者，娘一直拒朕封号，娘早应进国夫人号，若以不便，别称国婆婆亦可，朕为诸子设幼学，以国婆婆监领，名正言顺，岂不更好！诸皇儿交娘管教，朕悉力朝事，大可放心。”县君允诺。
不料上将此事说与太后，高氏道：“皇上进封乳娘，我管不得，封号国夫人或国婆婆由汝。只是煦儿自幼生长宝慈宫，由我抚养。他是长孙，自应由我管教，不去幼学。”原来，元丰二年冬，太皇太后曹氏崩前，一再叮咛高氏道：“吾将不久人世，惟一担心汝将受冷落。”
皇上亲杜小娟，或虽不确知系其生母底细，然天生血亲，吾无如之何！
“但汝孙辈不可再使疏汝而亲小娟。常言有假儿无有假孙。故吾令朱儿留宝慈宫伴驾，幸生长孙，将为皇嗣。汝务必笼住她母子，使听汝管教，将来好承皇位，若其年幼，汝可垂帘听政。从今始，不许其近小娟。汝人老实，斗不过小娟。皇上身世，汝知、我知、小娟知。我离人世后，设法除掉小娟，免泄这段皇室家史。”高氏道：“谢皇姨操心。经皇姨说，方知此中利害，秀林牢记矣！必依教旨办。”正因此之故，不论上如何说，高氏终不允煦儿入幼学，上只好依从。
上欲伐夏，终不释念，决心报五路兵败之耻。五年春，种谔入对，献取横山之策。上遣给事中徐禧、内侍李舜举到延州，与知州沈括合议欲城永乐。种谔以该地缺水，极言非是。徐禧怒道：“君不畏死乎，敢误城事！”谔道：“城之必败，败必死；违节亦死，死于此，犹胜于丧师而沦异域也。”禧度不可屈，奏留谔守延州，自率诸将往筑之。
九月，永乐城成。徐禧等还米脂，以兵万人属曲珍守之。禧去，夏人即来攻。禧不之信，曲珍着人驰告十数，方挟李舜举赴永乐城。大将高永亨道：“城小人寡，又无水泉，恐不可守。”禧以为沮令，械送延州狱。果然，夏人倾国而至，号三十万。禧乃令以万人阵城下，自坐谯门，执黄旗令众道：“视吾旗进止。”曲珍阵于水际，不利战，将士皆有惧色，遂白禧不可战，请收兵入城。禧责道：“君为大将，奈何遇敌不战！”这时夏人纵铁骑渡水，告曰：“此号铁鹞子，当其半济尚可阻，若使过河，则其锋不可当也。”禧不听。铁骑既济，震荡冲突，宋师大败，将校及使臣十余辈及士卒八百人尽殁，夏人遂围城，厚数里。将士日夜血战，城中又断水，凿井不得泉，渴死大半。沈括、李宪援兵及馈饷，皆为夏游骑所隔。会大雨，夏人环城急攻，城遂陷，全军覆没。
徐禧、李舜举等皆为乱兵所害，曲珍等四将裸跣走免。夏人耀兵米脂城下三日乃还。
灵州、永乐二战，宋损兵六十万，钱、银、粟、绢无数。神宗听到永乐败讯，临朝痛哭，只好与夏议和。从此悲伤不止，病益加剧。
且说元丰三年二月，苏轼被贬黄州。其《初到黄州》诗自我解嘲道：
自笑平生为口忙，老来事业转荒唐。
长江绕郭知鱼美，好竹连山荻笋香。
逐客不妨员外置，诗人例作水曹郎。
只惭无补丝毫事，尚费官家压酒囊。
轼给友人信中说：“得罪以来，深自闭塞，扁舟草屦，放浪山水间，与樵渔杂处，往往为醉汉推骂，辄自喜渐不为人识。”流露出忧谗畏讥之心情。生计亦颇拮据，每月初一取四千五百钱，分为三十块，挂屋梁上，平日用画叉挑取一块，作衣食用，又以大竹筒别贮用不尽者，以待宾客。黄州一书生见而怜之，为其请得一块荒地，供其耕种，稍有收获，以济困匮。其地在郡城旧营地之东，因取名东坡，轼遂自号东坡居士。
苏轼贬居黄州四年多时期，生活上颇受困苦折磨，而文学上却大有丰收。无论文、诗、词、赋多有佳作，为人诵颂，尤以三咏赤壁著名，且看《念奴娇？赤壁怀古》：
大江东去，浪淘尽，千古风流人物。故垒西边，人道是，三国周郎赤壁。乱石穿空，惊涛拍岸，卷起千堆雪。江山如画，一时多少豪杰。
遥想公瑾当年，小乔初嫁了，雄姿英发。羽扇纶巾，谈笑间，樯橹灰飞烟灭。故国神游，多情应笑我，早生华发。
人间如梦，一樽还酹江月。
四年流放生涯，苏轼冷静回顾过去，思索往事，感触颇多。尤忆变法事，对方以反对新法罪其，更不能不加反思。其实在长期地方官任上，虽觉新法有其流弊，但亦看到某些便民之处。在常州赈灾、徐州抗洪中，已察知其反对兴修水利之谬误。对差役、免役之争，亦颇觉偏激。其实新法抑制兼并，本来自己亦曾主张，而当时却意气用事。章举新法成效几组数字，使其吃惊不小，震动尤大。被贬黄州后，在《与章子厚书》中说：“追思所犯，真无义理，与蹈河入海者无异。”后，致书滕达道亦说：“盖吾侪新法之初，辄守偏见，至有异同之论。虽此心耿耿，归于忧国，而所言差谬，少有中理者。今圣德日新，众化大成，回视向之所执，盖觉疏矣。”
元丰七年四月，苏轼改授汝州团练副使，本州安置。于是告别黄州，沿江而下。中途游览庐山，寻访奇胜异迹，咏诗状景寄情寓意，以《题西林壁》尤妙：
横看成岭侧成峰，远近高低各不同。
不识庐山真面目，只缘身在此山中。
这首诗通俗易懂，却富于哲理，全无以往驰骋以辞之旧习。这里，苏轼指出人们认识事物，难免有其局限性，也是从其政治挫折中逐渐领悟得来。游庐山后，轼顺访湖口，写《石钟山记》。通过对石钟山命名之考察，感叹“事不目见耳闻，而臆断其有无，可乎？”亦富哲理，均是从其多年来反思得来。
七年春，安石病卧半山园。“独卧南窗榻，悠然五六旬。”神宗遣国医诊视；上又给假一月，遣其婿蔡卞到江宁视疾。及疾愈，安石自知身衰，难以久留人世，余年更欲求洒脱，摆脱官场交往。六月，请以半山园屋及田亩为僧寺，乞赐名额。上从之，赐名报宁禅寺。遂租秦淮民宅迁住，泯入百姓里巷。
七月，苏轼抵达江宁，安石病初愈，野服乘驴，谒于舟次，迎于新宅。轼见屋宇狭小，摆设简陋，而又时值盛夏，天气炎热，安石折松枝架栏御暑。安石在《秋热》诗中说：“火腾为虐不可摧，屋窄无所逃吾骸。织芦编竹继檐宇，架以松栎之条枚”，即说此也。苏轼见此情景，不觉心酸。本来，其对安石不念旧嫌而救其出狱，即怀感激，亦觉负疚，今又见荆公以前宰相奉祠禄居处之陋乃至此，益加崇敬。轼道：“公捐田施舍于佛院，何必如此自薄克己！”安石笑道：“尚可遮风蔽雨，胜东坡茅居多矣。”二人相视大笑。安石邀轼游蒋山，遍踏半山园、定林寺、太平兴国寺旧居，饮宴赏花，说佛味禅，流连忘返。其后，江宁府令王胜之陪轼再游蒋山，轼有《同王胜之游蒋山》诗。安石爱其诗，次其韵，有《和子瞻同王胜之游蒋山》诗。苏轼留金陵月余，与安石相接甚洽，临行前语安石道：“今西方用兵，连年不解，公独无一言以救之乎？”安石道：“安石隐退多年，不预朝廷事。今自有当国者，安石自应不干扰当今。”轼道：“在朝则言，在外则不言，事君之常礼耳。上所以待公者非常礼，公所心待上者，岂可以常礼乎？”
安石道：“子瞻既有此言，安石须说。不过此事出在安石口，入在子瞻耳。”安石请苏轼修《三国志》，轼允定居后着手。安石又邀轼结邻，轼欣然允诺。苏轼在《次荆公韵四绝》之四说：“骑驴渺渺入荒坡，想见先生未病时。劝我试求三亩宅，从公已觉十年迟”，即指此事。苏轼欣然领命，积极措办。他离金陵不久上荆公书中说：“近者经由，屡获请见，存抚教诲，恩意甚厚……某始欲买田金陵，庶几得陪杖屦，老于钟山之下，即已不遂。今来仪真，又二十余日，日以求田为事，然成否未可知也。若幸而成，扁舟往来，见公不难也。”由此可知，轼往日误会，尽化为友情矣。
