1903年年初，日本驻江宁领事天野通过徐世昌函邀张謇和一些东南名流参观日本第五次国内劝业博览会。张謇对日本军国主义的侵略行径一向痛恨入骨，但对日本自明治维新以来努力学习西方，迅速实现民富国强颇有兴味，因此他接到请柬，便欣然决定东渡日本。一方面参加劝业博览会，另一方面考察日本教育和社会各项公益事业，以作将来南通地方公益事业建设的借鉴与准备。
张謇于5月23日抵达日本长崎，开始对日本进行长达两个多月的访问。张謇在日本期间，除参观博览会外，一共参观了35个教育机构和30个农工商单位，他每天的日程都排得满满的，而且是每看必问、每问必记、每记必思。
张謇考察的重点是他最为关心的教育和实业，旁及政治和社会。由他自己确定的参观程序是：“先幼稚园、次寻常高等小学、次中学、次高等、徐及工厂。”日方接待者嘉纳治五郎询问张謇“东来调查宗旨”，张謇略加思忖，说道：“学校形式不请观大者，请观小者；教科书不请观新者，请观旧者；学风不请询都城者，请询市町村者；经验不请询已完全时者，请询未完全时者；经济不请询政府及地方官优给补助者，请询地方人民拮据自立者。”张謇提出的这个访问意向并不保守狭隘，这是他从实际出发，寻求与中国经济、文化现状相近的经验，以便于接受和消化，倘若好高骛远，追求浮华新奇，只会是于事无补。作为改革家、实业家、教育家的张謇，在日本考察教育和实业时发现，中日两国有许多共同面临的发展问题，在日本解决得很好，在中国却是障碍重重，或者根本解决不了。其主要原因在于日本政治开明：一是立法健全，一切以法为准，依法办事，没有超越法律之上的权力；二是实行多党政治、尊重民意，议会民主，舆论监督，权力受到广泛的制约，因此，决策往往体现民意。中国落后的原因，扶其病根，是封建专制统治阻碍经济文化和社会的进步。在对日本的实地考察分析、对比中张謇猛然醒悟，他明确认识到，只寄希望于宫廷斗争，光绪皇帝重掌大权，或者仅仅依靠思想开明的地方督抚来推行新政，都不是解决中国问题的根本办法，必须在商会、农会、教育会等社会团体的基础上，扩大政治活动，组织政治团体以至新式政党，在全国范围内掀起立宪运动。张謇于7月29日回到上海。回国后他把自己访日期间的日记整理出来，题名为《东游日记》，编印成册，分赠友人和各方面的人士。
这一年，日俄战争爆发，立宪呼声普遍激昂。张謇开始同友人讨论立宪问题，并积极参与江浙立宪派人士策动地方和中央权要赞成立宪，派遣大臣出国考察政治的活动。他们认为，权要最能耸动朝廷，将来实施立宪也要靠权要主持，要促成立宪，必须使权要赞成并进行陈请。这时他们走的完全是上层路线。
4月，清政府为敷衍内外臣民、缓和舆论压力，做出相应的姿态，对声望日增的资产阶级上层人物进行笼络。4月16日，颁发上谕：“张謇著赏加三品衔。作为（商部）头等顾问官，钦此。”张謇本不想做官，但出于一种使命感，这一次他毫不推辞地接受了任命。
商部顾问官既是新制，又冠以头等，朝廷自然是格外看重张謇在实业教育方面的业绩和社会影响，而给予恩宠了。对他来说这个待遇既可为他经营实业“小有裨益”，更重要的是，又能借此增加他参与立宪运动的分量。
1904年5月至6月，张謇与汤寿潜、蒯光典、赵凤昌等为鄂督张之洞、江督魏光焘起草了一份折稿，大意是，日俄之战无论胜负属谁，中国也有大变动，如火之及屋，恐不易救，欲加预防，必须急为变法，而变法之要着即首宜立宪，请求“仿照日本明治变法立誓，先行颁布天下，定为大清宪法帝国。一面派亲信有声望之大臣游历各国，考察宪法”。折稿拟就后，胆小谨慎的张之洞未即出奏，又嘱张謇探询已为直隶总督的袁世凯的态度，以决进止。
张謇也认为如能得袁倡导，对推动立宪十分有利，因此与断交20年之久的袁世凯正式复交。袁世凯在戊戌政变中出卖光绪帝，赢得慈禧太后的好感，成为执掌北洋兵权的铁腕人物。为了促使立宪运动的成功，必须向各个方面寻求广泛的支持，建立最大限度的联合阵线，张謇捐弃前嫌，与袁世凯重修旧好。乃于6月致袁一函中言：“日俄之胜负，立宪、专制之胜负也。今全球完全专制之国谁乎？一专制当众立宪，尚可幸乎。日本伊藤、板垣诸人共成宪法，巍然成尊主庇民之大绩，特命好耳。论公之才，岂必在彼诸人之下。即下走自问志气，亦不在诸人下也。”袁世凯以为时机未到，答以“尚须缓以俟时”。
张之洞、魏光焘见状，未敢将折稿呈进。
7月，张謇闻悉商部尚书载振等有赞成立宪之意，“北方殊有动机”，以为“原动力须加火以热之”，除为张、魏二督修改奏稿外，还加紧组织编译刊印《宪法义解》《日本宪法》《日本议会史》等书，分送各方面重要人士，更以《日本宪法》12册托人秘密送入皇宫。从张謇代撰的奏稿和为上述新书所写序文，可以看出他们对君主立宪有如下基本认识：
1.为挽救国家危亡，必须从根本上改变政体。
2.中国与日本国情相近，立宪应以日本宪法为蓝本。
3.中国立宪后，君权不会削弱。
4.立宪步骤：
（1）昭告天下，宣誓立宪；
（2）派遣亲贵王公大臣出国考察宪政；
（3）按照日本早期宪法章程办理立宪事宜。
《日本宪法》传入宫中，慈禧阅后，召见大臣说：“日本有宪法，于国家甚好。”枢臣相顾，不知所对，唯唯而已。事后，瞿鸿禨赶快派人赴沪选购宪法书籍。
1905年，随着日胜俄败及民族危机的加深，国内立宪舆论日益高涨。张謇为抵制美货事件再致袁世凯一函说：“日处高而危，宜准公理以求众辅。以百人辅，不若千；千人辅，不若万；万人不若亿与兆。自非有所见，为公进此一言也。且公但执牛耳一呼，各省殆无不响应者。安上全下，不朽盛业，公独无意乎？及时不图，他日他人，构此伟业，公不自惜乎？”
张謇深知袁世凯其人政治野心很大，因此始于义理，终之利害，理之所存，利之所在，袁世凯是不会坐视“他日他人，构此伟业”的。由于全国立宪高潮已经形成，清廷不敢公然违背民意，袁世凯的态度也不再含糊，但却巧妙地将张謇逼上前台：“各国立宪之初，必有英绝领袖者作为学说，倡导国民。公夙学高才，义无多让。鄙人不敏、愿为前驱。”张謇于是与袁世凯结成联盟，极力向清廷鼓吹立宪，一北一南，在朝在野，遥相呼应，使立宪运动成为不可逆转的潮流。1906年9月1日，清廷在举国一致的压力下，颁布预备立宪活动。
1906年，是立宪派最具光彩的一年，张謇上下串联，八方奔走，促使立宪运动节节高涨，不断取得富有成效的信誉。宪政大局已定，清廷谕令五大臣出洋考察政治。
1906年9月24日上午，出洋考察政治五大臣载泽、戴鸿慈、徐世昌、端方、绍英从北京正阳门车站启程时遇炸，未能成行。当晚十时，张謇便得知这一消息，此时谋杀者已死，身份不明，他认为“此必反对立宪人所为也。如此，则立宪尤不可缓”，立即拟电慰问端方，并请“奏而明诏，以消异志”。他估计谋炸五大臣的必是宣扬种族主义的革命者所为，不过他认为这种革命不是好事情，“不若立宪可以安上全下，国犹可图”。
3个月后，五大臣人员略加调整，终于出洋考察了。洋大臣回到上海时，张謇专程前来与载泽、端方、戴鸿慈等商谈，并发起商、学两界公宴为他们洗尘。同时，他还为载、端起草了《为立宪致各省督抚电》，以扩大此次考察的影响。
出洋大臣返京后，立即向慈禧多次奏请立宪。慈禧基本同意后，正式颁布上谕，宣布“大权统于朝廷，庶政公诸舆论”，实行预备立宪，预备期则看“民智”程度，才能决定正式立宪时间。这实际上显示了清廷仍在玩弄拖延的手法，没有立宪诚意。立宪派和各省实力派决心进一步组织起来，建立预备立宪公会，发动全国各界人士向清廷施加压力。
1906年，张謇除了争取沪宁铁路修筑权外，他频繁参加江苏省教育会和图书公司等各种会议，为预备立宪公会的诞生做好一切准备。
1906年12月16日，预备立宪公会在上海宣告成立。公会宗旨是教育国民，为立宪做好思想准备，人民应关心、研究、议论国政，以供政府采择。预备立宪公会推举郑孝胥为会长（后郑辞职，改为朱福诜、张謇），汤寿潜、张謇为副会长，主要成员多为江浙工商界代表和具有开明思想的东南绅士。上海预备立宪公会的成立，反映了江浙资产阶级的崛起，同时也表明，上海正以中国近代第一大都会的资格与中国古老的政治中心北京分庭抗礼。由于预备立宪公会半数会员均投资近代企业，因此他们特别重视保护工商业者的合法权利。1907年，该会开始调查商情和拟定商法草案活动，并请各地商会派代表来沪开会讨论。张謇一向痛恨腐败官僚，“以法令为罔上之美观，以章程为欺民之幻术”。在要求改进税收和兴办各种实业活动中，又深感没有商法的困难。他希望预备立宪公会把草拟商法草案作为一项重大任务，并通过各地商会的共同努力，促使清廷采纳他们的提案。
1907年9月20日，清政府宣布设立资政院，为正式议院的基础。10月17日，谕令各省筹设咨议局，并筹设州、县议事会。1908年秋，张謇奉旨筹办江苏省咨议局。11月他在江宁碑亭巷设立筹办处，张謇任总理。1907年12月，张謇与汤寿潜、蒯光典等筹议了有关国会和立宪问题，大力支持预备立宪公会与宪政公会、政闻社、宪政研究会，共同筹备成立国会期成会，领导全国请愿。1908年6月至7月，他又与郑孝胥、汤寿潜代表预备立宪公会两度致电宪政编查馆，要求在两年内召开国会。在各地民众的要求下，朝廷于7月22日颁布了《咨议局章程》和《咨议局议员选举章程》，限令各省一年之内一律成立。8月27日，又宣布自本年起，预备立宪期为9年，届时颁布宪法，召开国会。对于预备立宪期，立宪派感到过长，但又认为只要民众努力，期限是可以缩短的；当务之急是办好民众的法定机关咨议局，因此主要精力转向了筹办咨议局。
1909年9月，江苏咨议局正式开会选举张謇为议长，蒋炳章为副议长。张謇在会上反映了广大绅商的意愿，强调“官民不可分而后有政治”。咨议局先后通过了章程、议员选举章程、单行法处理和实施办法，等等。其中特别重要的规定有：咨议局成立后，所订本省单行法，必须交该局议决，才能呈请公布生效。江苏省咨议局成立后，即认真履行自己的职责，与地方顽固官僚针锋相对。
1910年8月9日，江苏咨议局和各省咨议局为加强联系，在北京成立了各省咨议局联合会。这次会议主要商讨了国会请愿问题，并决议每年旧历六月在京举行常会一次，讨论各省咨议局利害相关事宜，准备提交资政院的议案以及本会章程规则等。张謇为咨议局倾注了大量心血，江苏咨议局第一届常会也确实开得不错，议员争先恐后提出议案，会议秩序井然，态度严肃认真。议事有速记，会下有临时公报，议决之案能及时发表，让全省人民了解，外国人见了“亦甚赞许”。
咨议局召开期间，张謇还领导议员就公文格式同宪政编查馆进行了斗争。原来宪政编查馆规定，咨议局与地方官吏来往公文体制，督抚用札行，司道以下用照会，咨议局均用呈文。在议员群起诘责下，宪政编查馆作了些修正，但仍规定督抚专对咨议局言者用札，而咨议局对督抚和司道领衔之局处用呈。这就把本来与督抚对等的咨议局置于督抚和司道领衔之局处的下属地位，是对咨议局的莫大歧视。江浙咨议局相继发难、电驳宪政编查馆。这实质是一场捍卫咨议局权限和独立地位的斗争，在各省斗争下，宪政编查馆不得不作出让步。
由于国内形势的急剧变化，第二届常会提前于1911年5月召开。这次会议对政府完全失望，主要探讨推翻清政府和议会今后的出路问题。张謇因各省咨议局联合会政治倾向日益偏激，加之又要组织国会请愿活动，因此未参加第二届会议。
1909年，光绪帝和慈禧太后先后死去。依靠太后威望和权势运转的清政府，忙于内部权力结构的调整，不得不作出顺乎民意的开明姿态。由于两年多来武装起义的不断失利，革命党人的活动暂时沉寂下来，各省立宪派似乎进入了秋高气爽的黄金季节，他们利用这一有利时机，迅速发起了全国范围的国会请愿活动。张謇在初期活动中起了重要的倡导作用。张謇与江苏巡抚瑞澄和咨议局的杨廷栋、孟森、雷奋等筹商，于10月13日利用咨议局开会之机，准备联合各省督抚及咨议局，一致要求召开国会和组织责任内阁。经会议决定，由瑞澄出面联络各省督抚，要求组织责任内阁，由张謇负责联络各省咨议局要求尽快召开国会。
11月初，张謇前往杭州，说服巡抚增韫与瑞澄取同一态度，会见了立宪派人士。当时有人说，从政府、社会各方面观之，“国不亡，无天理”。张謇回答说：“我辈尚在，而不为设一策，而坐视其亡，无人理。”他认为国民一定要尽到自己的责任，为国家分忧解难。
请愿要求速开国会的目的在于争取民主，改革政治，挽救国家危亡，因此深得广大民众的支持。12月中旬，16省咨议局代表齐集上海，代表总数50余人。16省代表在预备立宪公会事务所集会，推举福建省咨议局副议长刘崇佑为主席，并组成33人的国会请愿代表团，定名为“咨议局请愿联合会”，代表团定于29日、30日出发，启程前，张謇设宴饯行，并作《送十六省议员诣阙上书序》，以壮行色。张謇还连夜改定《请速开国会建设责任内阁以图补救意见书》《送十六省议员诣阙上书序》，主要是向请愿代表进言。他认为，现在的中国已是“无形之亡国”，国家的形式还存在，民众已处在危亡状态。立宪的作用，就是让民众有参政权利，使之共负国家责任。他谆谆告诫代表牢记“国之兴亡，匹夫有责”之言，“秩然秉礼，输诚而请”，竭尽所能，向政府输诚，即使政府最终拒绝了民众的请愿，未能挽救国家的危亡，民众也就对国家对后代问心无愧。这些都给代表们以很大鼓舞。
《请速开国会建设责任内阁以图补救意见书》，主要是向皇室，特别是向总揽朝政的醇亲王载沣提出忠告。意见书要求他将原定9年的预备立宪期缩短，议“定以宣统三年召集国会”。未到期以前，设“大政咨询”，并召开“临时国会”。同时，又请求“从速建设责任内阁”，特别说明“责任内阁”代皇帝承担内政、外交责任，使皇帝“安于泰山”。最后，还对都察院限制士民上书，给予针锋相对的批驳，奉劝清廷不要执迷不悟，将爱国志士逼向革命党人的阵营。请愿代表们于1月抵京，正式向都察院呈递了由福建代表林长民起草，经张謇修订的请愿书《各省议员请速开议会折》，要求在1年之内召开国会，并向一些王公大臣分别递交了请愿书副本，希望能得到他们的赞助。请愿书虽由都察院转呈朝廷，但多数大臣特别是摄政王载沣对此反感，只有少数赞成立宪，势孤力单，未敢力争，表面上对请愿代表优礼相待，上谕夸奖代表“具见爱国热忱，朝廷深为嘉悦”，结果却不了了之。
第一次国会请愿流产后，请愿代表即连续商议再次请愿事宜，拟组织“请愿即开国会同志会”，总部设京，各省设分会。各省绅商学各界团体或个人凡加入同志会者，约定1910年5月一面上书督抚，请其代奏，一面各举代表来京。根据各省代表原在沪决议，草拟咨议局联合会章程，定于每年六月开常会，设报馆出版日报，加强舆论宣传。
1910年3月16日，江苏省咨议局开会，在张謇主持下通过了速开国会的决议，5月，各省社团、商会、学会及华侨商学分别派出代表，陆续到京，联合各省咨议局代表，共同发起第二次国会请愿活动。他们以原请愿团为基础，重新组成了有其他代表参加的国会请愿代表团，并推定孙洪伊等10人为领衔代表。
6月16日，第二次国会请愿活动正式开始，10个团体同时向都察院呈递了请愿书。各省入京请愿代表150余人，在请愿书上签名的号称30余万人。这次请愿的声势浩大，上书措辞直切，使载沣为首的清廷疑虑重重，但仍拒绝了提前召开国会，并严厉地告诫请愿团体代表：“惟兹事体大，宜有秩序，宣谕甚明，毋得再渎请。”立宪派对于再次碰壁，早有思想准备，正如张謇所说：“设不得请，至于三、至于四、至于无尽。”为了表示请愿的决心，他们很快又发动了第三次国会请愿。
10月3日，朝廷点染新政色彩的御用机构资政院举办开院典礼，摄政王载沣致祝词。由于立宪派骨干活动其间，资政院也成为向清廷争取民主权力的重要讲坛。各省请愿代表团与资政院民选议员里应外合，他们再次向载沣上书，游说王公大臣，陈述提出召开国会的理由。10月26日，资政院正式通过速开国会的决议。各省督抚也联名奏请立即召开国会。清廷迫于各方面的压力，于11月初宣布缩短预备立宪期限，由9年改为5年，预备宣统五年开设议院，并预行组织内阁。张謇对此结果已感满足，中止了原定北上活动的计划。但国会请愿团却深感不满，继续要求立即召开国会。清廷恼羞成怒，驱逐了请愿代表，并逮捕了天津学界同志会会长温世霖。第三次国会请愿活动彻底失败。
张謇得此噩耗，垂头丧气，不禁感叹说：“亟求立宪，非以救亡；立宪国之亡，其人民受祸或轻于专制国之亡耳。呜呼！世人知余言之痛耶！”这时候的张謇在怨愤满族亲贵“天大军国事，飘瓦供儿戏”之余，也痛切地感到清王朝已是“绝弦不能调，死灰不能燃”，尽管当时的形势已呈“山雨欲来”之势，但他似已感到无能为力了。便又忙起组织赴美报聘和中美合办银行、航运业等实业来了。
