不料这时风云有变。自去冬到今春，天久不雨，河北灾伤尤重，灾黎南徙，京城到处可见沿街乞讨者。神宗忧形于色，嗟叹不已，于是差官祈雨，损常膳，避正殿，冀以塞责消变。这日，召辅臣、近臣对延和殿。上道：“天久不雨，朕夙夜焦劳，奈何？”翰林学士韩维道：
“陛下忧悯旱灾，损膳避殿，恐不足以应天变，愿陛下痛自责己，下诏广求直言，以开壅闭。”安石道：“水旱常数，尧汤不免，陛下即位以来，累年丰稔，今旱？虽久，但益当修人事以应天灾，不足贻圣虑耳。”上道：“朕所以恐惧者，正为人事之未修耳。今取免行钱太重，人情咨怨，自近臣以至后族，无不言其害者。”安石道：“已责开封府赈济流民；司农寺以常平米三十二万斛，三司以米一百九十万斛置官场，减值出粜，正是尽人事，使灾民受惠。果如多收免行钱，即令全免，臣不知其何以惠及灾民，又何以可消旱？？”君臣正在争论之际，走马承受火急报说：“知河州景思立与蕃部鬼章战于踏白城，败死，贼围河州；木征又寇岷州。”上听后益急。安石道：“景思立素轻敌，且又贪功，王韶还朝时戒其勿轻出。今远出踏白城，乃自取败耳！须着王韶急返熙河应付。以韶之才与我之兵力，必可平息，不必过虑。”上道：“但愿如此。枢密急遣王韶返。”枢密使陈升之道：“臣即办，先告退。”上道：“方忧灾黎，又起蕃乱，皆朕德不修之过也，不自责不以应臣民。请韩卿为朕制诏，颁天下，求直言。”安石明知此举必致朝野纷纷，然见上激切，不好阻当。
果不出所料。求言诏下，判西京留守台司马光见有机可乘，背其不言朝事之誓，乃复上疏，论方今朝廷阙失有六：一曰广散青苗钱，使民负债日重，而县官无所得；二曰免上户之役，敛下户之钱，以养浮浪之人；三曰置市易司，与细民争利，而实耗散官物；四曰中国未治而侵扰四夷，得少失多；五曰团练保甲，教习凶器，疲扰农民；六曰信狂狡之人，妄兴水利，劳民伤财。知青州滕甫亦言新法害民，乞下手诏悉罢熙宁以来新法，则民气和而天意自解。因景思立败死，木征鬼章复围河州，朝臣中弃熙河之议复起。
迩来，朝廷上下又盛传监安上门郑侠绘流民图，具疏诣阁门，因不纳，遂妄称密急，发马递，送到银台司。疏云：“去秋大蝗，秋冬亢旱，麦苗焦枯，五种不入，方春斩伐，竭泽而渔，草木鱼鳖亦莫生还。愿陛下开仓廪，赈贫乏，凡有司掊克不道之政，一切罢去，冀下召和气，上应天心，延万姓垂死之命。臣谨据安上门所见，绘成一图。陛下观臣之图，行臣之言，十日不雨，即乞斩臣于宣德门外。”郑侠者，原光州司法参军，秩满入都待选。因随其父曾宦江宁故，识安石，故希安石奖拔。时，初行试法之令，安石令其试法以进，侠以未尝习法辞。久之，有司令监安上门，侠郁郁不得志。一日，侠偶会同科蔡京，欲缘其弟蔡卞求安石以干进。蔡京道：“京那年进士及第，朝廷命京任钱塘尉，求安石留府界亦遭拒。此公一本正经，六亲不认，求之无用；况闻安石累求退，上亦厌之，何以求此将去位之人？”侠素□巧，又闻司马光、滕甫上书攻安石，心想希交倒不如佯攻有用，即使攻之不成，亦可延誉，于是想出这上疏献流民图的勾当。
韩绛从大名府应召还朝，这日与弟维访安石。绛道：“直言诏下，朝野纷纷，司马光等乘机又攻新法；郑侠小丑亦凑热闹。此际公万不可遽退，以免自乱大局，招致毁誉。”维道：“维原以为诏求直言，乃历代故事，不意招致如此掀天骇浪，维深感内疚。”绛道：“吾屡责持国书生气太重，果又为人所用。汝岂知司马光辈居心叵测！”安石道：“几只泥鳅，掀不起大浪，无关紧要，不可过虑。而司马光攻政失六阙，恰暴露其久欲废新法之妄图，今不过借天不雨以求一试耳。其说久不售，今惟冀天象以助邪，不以可怜可悲哉！至于郑侠，如《庄子？逍遥游》所云：‘子独不见狸？乎……东西跳梁，不辟高下’，更不足论。安石佐君上，非贪利钓誉而来，何患其毁誉？亦非其所能毁也。”说至此，安石坦然吟道：
众人纷纷何足竞，是非吾喜非吾病。
颂声交作莽岂贤，四国流言旦犹圣。
惟圣人能轻重人，不能铢两为千钧。
乃知轻重不在彼，要之美恶由吾身。
韩维道：“维固知兄之胸怀，纵无所惧，待事态稍趋平静，去亦不迟。”安石道：“安石心惟系一事，即根治河患。此关乎子孙之大事，待河工一开，安石可放心归蒋山矣。熙河事，不足忧，王韶擒木征，献俘天子脚下，只是迟早事，余不足忧。兄等不必劝说，安石求退已决，即当五上乞解机务札子。”
神宗驾返后宫，以司马光、郑侠上疏及流民图示县君杜氏与皇后向氏。杜氏展阅后问道：“皇上以为如何？”上道：“司马光攻安石太过。”杜氏冷笑道：“官家以为彼攻安石乎？试问安石辅政以来，除去行新法，汝还有何德政？连兴水利、攘四夷均属阙失，何德政之有？”
权祖父名钟，因改称蒋山。
“老妇人以为彼非仅攻安石，攻皇上也。果如司马光言，安石奸谗误国，而汝为其惑，岂非昏君耶？果如是，恐当废立。”上听后悚然，半晌后抚额道：“朕迷误深矣！怎不虑此。娘言利如锥刺，痛儿心肺。但无此痛，难破迷误，不识司马光之居心叵测。”杜氏又问道：“郑侠流民图如何？”上道：“朕初亦为所动。”杜氏道：“此等伎俩不难识破。以天下之大，灾害何年不有。一有灾伤，即曰政失，岂不谬哉？况一安上门所见，而括宇内，更其荒谬。又说：用臣言，十日不雨，乞斩臣首。以其人头打赌，危言耸听，其非君子可知也。今未纳其言，四日即雨，不知郑侠将何辞以对？我不知郑侠其人，即是善心，亦不足取；况与司马光、滕甫均以上应天心下和民意相标榜，岂偶然哉！当慎思之。”上道：“明日上朝，诏驳司马光谰言，处置郑侠。”杜氏道：“汝诏求直言，又罪言者，不虑人说汝反复耶？不予置理即可。但是非不可含糊，宜下诏示维护新法之意，使间谗者畏法之不可摇，则纷扰自止矣。”上道：“安石连年恳辞相位，当如何处之？”杜氏道：“那日在东府安石亦曾言及，是求退心诚。可不强人之难，准其请，后需用再召回。惟其去，以隆礼待之，以全汝君臣之道义。”上道：“朕亦不忍拂其意，况安石性拗，恐难拗过他。”杜氏道：“皇后怎不一言？”向氏笑道：“娘言极是。官家亦五体投地，妾还有何说，听娘言，倒长了许多见识。”
王韶日夜驰至熙州。此时，熙州守将方备城守，韶道：“我各自为守，是摆开挨打架势，利木征点集优我兵力，逐个击破，非制敌良策。”于是，选精兵两万待发。诸将请趋河州以解围。韶道：“贼所以围城者，待我外援也。今往救，必于路设伏待我；且彼新胜气锐，未可与争，当出其不意以攻其恃，若得手，河州围自解。”乃麾师直趋定羌城，破结河川蕃族，断夏国通路，进临宁河，分命偏将巡南山。木征知有援，乃拔栅去。韶道：“此着，乃断其与夏通路，所谓关门打狗也。今兵还熙州蓄士卒锐气，待侦知木征主力所在，出其不意，奔袭全歼之，则木征可擒也。”韶兵还熙州，木征见汉军不尾追，稍懈。乃集其众于踏白城，谋再攻岷州。不料王韶兵循西山，绕出踏白城后，出其不意，以排山倒海之势从后杀来，木征措手不及，落荒而逃。是役焚贼帐，斩首七千级，大获全胜。木征逃出，计点人马，损失殆尽，所余仅几十亲兵，度难再起，次日，率酋长八十余人诣军门降。
王韶破木征，捷报传到朝廷，神宗大喜，语王安石道：“如卿所言，王韶果不负重托。当令解木征入京，献俘殿陛。”遂进韶观文殿学士、礼部侍郎，官其兄弟及两子，前后赐绢八千匹。安石道：“陛下拔韶荒夷之中，为西陲干城，臣贺陛下得人。”上道：“逢此等喜事，卿不应遽退，宜留朝再助朕数年。今熙河大捷，足封纷纷者之口，卿不必介意。”安石道：“臣近二年来乞退再三，非为河州得失故，尝言河州解围乃早晚事耳。臣实力疲智衰，尸禄相位，恐误陛下大业。”上道：“朕与卿乃道义之君臣也，素知卿心诚，亦不忍再三拂卿意。既如此，朕允卿休息一二年，但卿亦应许诺再召即至，如何？”安石道：
“谢陛下恩准，后若有用，愿听驱使。”上道：“卿对今后推行新法有何交待？”安石道：“臣已在《上五事札子》中曾详言之。和戎、青苗二法已成，固不须论，免役、保甲、市易三法，有大利害焉。得其人而行之，则为大利，急而成之，则为大害。故乞陛下勿为人摇，宜急陶冶人才，审事物之度，不可急成。”上道：“方田，免行钱如何？”安石道：“方田良法也，但行之事至巨至繁，须县吏多精明能干，当前人才缺乏，行之不易。可诏令暂缓行。免行钱确如太重，可视情调整，使趋公平，但法不宜废也。”上道：“朕当慎为之。卿去尚有何求，朕当如卿所请。”
安石道：“臣个人无所求。臣有一事悬心。陛下前准以浚川耙治河患，至今未行。范子渊、李公义已拟就浚治方案，乞上允准施行。此乃关系当今生民及子孙后代之大事，亟应着手。”上道：“今春朝廷上下纷纷，致朕心烦，误了这件大事。朕即如范子渊所奏，诏置浚河司，以子渊提举，李公义协办，先从卫州疏浚直至海口，务使下游水行地中，然后再开卫州以上河工。其用船三百、铁爪三百，令即制办，今冬开工。”安石道：“如此生民之庆也。”上道：“朕亦劳卿书喻王韶，省冗费，理财谷，安抚蕃汉庶众，宜长久经营熙河，且勿轻开边衅。韶素重卿言，借卿口达朕意，如何？”安石道：“臣谨遵旨意。”
次日，神宗会群臣于文德殿。上开言道：“近二年来，王相屡乞解机务，朕一再挽留。近来又连上六札子，以疾病侵加，不任剧劳，恳辞相位。朕见其心诚，不忍强人之难，且大臣出入以均劳乃祖宗成宪，故准其辞相位，俾休息一二年，俟康复再召入朝。惟须留京师为论道官，以备顾问。王卿去位，朕诏以观文殿大学士、知大名府韩绛复同平章事，翰林学士吕惠卿为右谏议大夫、参知政事。朕虑及王卿去相位后，朝野必有纷纷，或有借以摇坏新法者，故朕特告天下，以示护法之意。今着中书宣读诏书。”参知政事王圭宣读道：
皇帝诏曰：朕度时之宜，造为法令，已行之效，固已可见。吏有不能奉承，然朕终不以吏违法之故，为之废法，要当博谋广听，按违法而深治之。
众臣听诏，知为司马光等上疏及郑侠上流民图而发，多以为此诏下，朝廷可平静矣。王安石闻皇上欲留己居京师备顾问，速忙奏道：
“幸蒙圣恩，已赐矜允罢相，但又欲臣且留京师以备顾问。臣父子荷知遇，诚不忍离左右，然又熟计，论道之官固非所宜。陛下付托既已得人，推诚委任，足以助成圣治，臣义难以更留京师，以招人谤。若陛下付臣便郡，臣不敢不勉。”上道：“朕亦知卿久念蒋山，朕不强留。以吏部尚书、观文殿大学士、判江宁府，如何？”安石谢恩。上道：“南下日告朕，为卿送行。”安石道：“不敢惊动陛下。”上退朝。
安石下朝回到东府，刚进内室，夫人吴氏急问道：“可获恩准？”
安石道：“准解机务，亦不须留京备顾问，吾释重负矣。你我夫妇当即返江宁。回首江南春更好，梦为蝴蝶亦还家。”吴氏道：“何时成行，妾即做安排。”安石道：“皇上诏？儿进右正言，天章阁待制兼侍讲，以？疾不能朝，上特诏给俸免朝谢，许从我之江宁，仍修撰经义。上待我父子至厚，朝中诸人不免张罗送行，贺？儿恩宠。但我应自谦。为省事，只带服用衣物悄悄上路。”吴氏道：“老爷离京，也得择个日子。”安石道：“正为避开应酬，一二日便行。我即命王兴备好一船，届时一走了事。你知安石素厌迎来送往俗套，若不如此，别说京城送别，亦扰沿途州县官员。人以迎来送往为荣，我以为烦。”吴氏道：“妾亦不惯烦扰，就依老爷。”安石回到书房，召王？、王兴道：“我后日悄然南返，不令人知。王兴即去六路发运司，以汝先遣为名要一大船南行，预靠州桥码头，到时神不知鬼不觉离京矣。”王兴道：“朝廷规矩，使相出行，例用三条大船，头船竖牌‘一品宰相’‘肃静回避’，鼓乐齐作，尾船派兵卫行。老爷微行，岂不破了朝廷规矩，也委屈了自己。”安石道：“汝若嫌随我不威风，可介绍汝随新宰相韩公，如何？”王兴笑道：“王兴还不知老爷脾气，随便说说而已。我即刻去办。”
至日，安石偕夫人吴氏带子王？登船，于晨曦中悄然离开六年运筹之汴京。不多日由汴河驶入长淮，安石瘦弱之身躯站立船头，怅望青山绿水，霜染之鬓发被河风吹起，不禁感慨道：
青山憔悴北归来，发有霜根面有埃。
群吠我方惊□子，一鸣谁更识龙媒。
舟行多日，这日已近爪州，安石心情仍是低沉，猛抬头已见江南吴山，稍似轻松，又吟道：
勋业无成照水羞，黄埃入眼见山愁。
烟中漠漠江南岸，更与家人一少留。
熙宁七年，苏轼通判杭州任满，调知密州。甫到任，天降一场瑞雪，遂吟道：“今年好风雪，会见麦千堆”，希望来年丰收。然而，密州今秋蝗灾重，颗粒未收，民多饥馁，甚有弃子者。轼除请朝廷蠲免秋赋外，又召人收养弃子，由官府月助米奖励。初到任，虽公务繁忙，食用清苦，却不似京城无聊，“为郡鲜欢君莫叹，犹胜尘土走章台”。但面对泣寒号饥之灾黎，又往往束手无策，深感内疚。尝以饱读经书，能诗善赋相矜，而今竟救不下灾荒，感叹道：“秋禾不满眼，宿麦种亦稀。永愧此帮人，芒刺在肤肌。平生五千卷，一字不救饥！”联想到那年的《论贡举状》，亦自觉欠妥。
密州灾荒，使苏轼无兴致闲吟风月。这冬几场大雪，使其联想到对农事影响，冀其消除来年虫害，麦粟丰收。在《雪后书北台壁二首》中写道：
黄昏犹作雨纤纤，夜静无风势转严。
但觉衾稠如泼水，不知庭院已堆盐。
五更晓色来书幌，半夜寒声落画檐。
试扫北台看马耳，未随埋没有双尖。
城头初日始翻鸦，陌上晴泥已没车。
冻合玉楼寒起栗，光摇银海眩生花。
遗蝗入地应千尺，宿麦连云有几家。
老病自嗟诗力退，空吟《冰柱》忆刘叉。
这年恰逢夫人王氏卒十周年，忌日，异乡客居，举目无亲，孤苦无奈，自然怀念发妻，遂调寄《江城子》悼亡人：
十年生死两茫茫。
不思量。自难忘。
千里孤坟，无处话凄凉。
纵使相逢应不识，尘满面，鬓如霜。
夜来幽梦忽还乡。
小轩窗。正梳妆。
相顾无言，惟有泪千行。
料得年年断肠处，明月夜，短松冈。
苏轼任地方官，对朝廷推行新法，非如富弼等一概抗拒，而是每因法以便民，使民赖以安。如其反对借免役为名重敛百姓，又用宽剩钱购田募役人，使民得实惠。到密州这年，司农寺颁行方田均税法，不施行者以违制论。轼谓提举官道：“若法出之朝廷，谁敢不从？今出于司农寺，是擅造律也。”提举官惊道：“公姑徐之，不可抗违。”轼立即写就《上韩丞相书》，以为“方田均税之患，行道之人尽知之，税之不均，来由已久，今乃用一切之法，成于期月之间，夺甲与乙，其不均又甚于昔者”。及手实法出，又以为该法繁琐不便，又课民过苛，尤以讦告隐瞒有赏，必致民间烦扰，请罢去之。此是后话，姑且不表。
