这一次步入政坛，使俾斯麦一生的命运彻底改变了。他首先是当上了河堤监督官。这份差事很适合俾斯麦好胜的性格，2月中旬，易北河的凌汛到了。排山倒海的浮冰从上游堆移下来，若不及时疏导，就有可能在有河坝桥梁的地段壅塞堆集，大块的冰凌和不断累积的水压有可能冲决河坝堤防而吞没易北河两岸的田庄牧场。每年凌汛都有一个月左右。
俾斯麦很愿意接受这个挑战，他心中还有一个榜样，就是歌德在魏玛当大臣时在易北河上流耶那也身体力行斗过凌汛浮冰。因此他很称职，很快树立了正面的形象。
他借此机会参加了议会选举，虽然只当选为候补议员，但他却成功逼使一位议员以患病理由退出，2月联合邦议会一位马格德堡市议员生病，格拉赫兄弟要俾斯麦代表他作为萨克森议员，去参加在柏林举行的联合邦议会会议。
俾斯麦的田产在申豪森和克尼普霍夫，它们属于阿尔特马克和和波美拉尼亚，按理他不能代表萨克森贵族。朝中有人好做官，小格拉赫给他扯了一门萨克森贵族亲戚就上算了。1847年4月14日普鲁士联合邦议会会议开幕，俾斯麦于5月11日才赶到柏林。结果他成功当选为柏林州的正式议员，这时的俾斯麦只有33岁。
同年，他与一位名叫乔安娜的女子订下婚约，并于该年完婚。但就在次年，欧洲著名的1848年革命爆发，普鲁士王被俘。俾斯麦决定亲赴柏林，打探虚实。
途中，他遇上了威廉亲王的妻子，要求他协助其夫称王，但俾斯麦拒绝了这个请求。后来腓特烈·威廉四世成功镇压了这次革命。
1851年，俾斯麦出任法兰克福邦联会议的普鲁士王国代表，并于不久后升为大使。这份差事他足足当了8年。1857年，普鲁士国王腓特烈·威廉四世精神失常，因此由其弟威廉亲王摄政。威廉亲王摄政后，立即召见俾斯麦，并任命他为驻俄大使。
1861年威廉亲王登基，称威廉一世。刚登基不久，威廉一世在扩充军备方面与议会发生冲突。无奈之下，只有任命俾斯麦为内相。但俾斯麦并不甘于当内相，因此并不履行。
1862年春，俾斯麦回到柏林，普鲁士王因为内部的压力，并不能升他为首相。结果俾斯麦请辞，并被改派为驻法大使。
同年，在普鲁士议会新一轮选举中，自由派取得了绝对胜利，马上否决了普鲁士政府的对军事改革的全部拨款，政府和议会陷入了僵局。在重大矛盾之下，俾斯麦成为首相的唯一可能人选。1862年9月23日，威廉一世召回俾斯麦，并任命其为首相兼外交大臣。
1862年成为首相的俾斯麦在9月26日的下院首次演讲中坚定的对议会说道：
“当代的重大问题并非通过演说和多数派决议就能解决的，而是要用铁和血来解决。”
从此，俾斯麦被冠上了“铁血宰相”的绰号。随后国王对俾斯麦说：
“我很清楚这个结局。他们会在我歌剧广场的窗前砍下你的头，过些时候再砍下我的头。”
而俾斯麦则回应道：“既然迟早要死，为何不死得体面一些？是死在绞架上，或死在战场上，这之间是没有区别的。我们必须抗争到底！”
从此，国王和他的首相间形成了一种十分特别的牢固关系。俾斯麦就任首相后，未能解决与议会的冲突。为此，他欲以德国统一的大业来转移议员的视线，并争取工人阶级的支持来抗衡资产阶级自由派。很快，他开始筹划三场王朝战争。
1864年2月1日，普、奥联军6万多人，火炮158门，在普鲁士元帅弗兰格尔指挥下，向丹麦开战。7月初，日德兰半岛被占领，丹麦无力抵抗，被迫于8月1日向普、奥求和，割让石勒苏益格-荷尔施泰因。接下来的《加施泰因公约》是俾斯麦的得意之作，这个“猜不透的迷魂阵”规定，石勒苏益格归普鲁士管辖，与普鲁士接壤的荷尔施泰因反而归奥地利管辖。
普丹战争后，俾斯麦决定要将奥地利赶出德意志邦联，以利于将来德国的统一。因此他着手孤立奥地利，首先俾斯麦答应协助俄国取消《黑海中立条款》。并与法皇拿破仑三世会晤，表示普鲁士不反对把卢森堡及莱茵河区让给法国，以此确保法国在普奥战争中保持中立。而英国当时继续实行光荣孤立的政策，因此在普奥发生冲突时会保持中立。
最后，他在1866年4月8日，与意大利签订攻守同盟条约，规定如果普鲁士在3个月内与奥开战，意大利则必须同时对奥宣战，只有在奥地利归还威尼斯予意大利的情况下，方可与奥讲和。
最后，奥皇因为不满意《加斯坦因专约》的条款，而要求用普鲁士最富庶的工业区西里西亚交换荷尔斯泰因。俾斯麦以此为借口，指责奥地利毁约。结果在1866年5月，威廉一世下令全国总动员，于同年6月对奥宣战。
意大利亦依据攻守同盟条约，同时对奥宣战。不久，普鲁士便征服北德的亲奥小邦，并于1866年7月3日以29.1万军力在萨多瓦与23.8万奥军发生大战，即萨多瓦会战，最后奥军战败。
这时，俾斯麦决定与奥讲和，而不是乘胜追击。因为他明白，消灭奥地利并不是其首要目标，最重要的是要统一德国。因此他在1866年8月23日签订的《布拉格条约》中给予奥地利极为宽容的讲和条件，以便于保持对奥的良好的关系。普奥战争结束后，妨碍德国统一的就只剩下在背后控制着南德诸邦的法国了。由于法国仍然在幕后操控着南德意志地区的各个邦国，阻碍着德国统一。随着俾斯麦加紧统一德国，普法矛盾越来越尖锐。1870年，普法因西班牙王位继承问题发生纠纷。普鲁士做了些让步，但拿破仑三世得寸进尺。当时在埃姆斯温泉疗养的威廉一世以温和的口吻予以拒绝，然后将其与法国大使会见的经过用电报通知俾斯麦，让俾斯麦对电报内容作必要的改动后发表。俾斯麦认为这是一桩对普鲁士有重大意义的事件，它提供了一个刺激法国宣战的机会。在与军方人士商议后，他当即篡改电报内容，使其带上侮辱法国的口吻，并相信这“将对‘高卢牛’起到一块红布的效果”。
7月13日，电文一发表，便引起法国政府的狂怒。7月14日晚，法皇决定宣战，翌晨，法军接到动员命令。同日晚，普鲁士政府亦向北德意志邦联发出动员令。7月16日，南德诸邦也动员起来。7月19日，法国首先向普鲁士宣战，普法战争就此爆发。
而普鲁士则借此团结德意志民族，对法国发起进攻。普鲁士很快便击退了入侵的法军，并反攻法国。在色当战役中，普军大败法军，拿破仑三世投降。随后普军进军巴黎，协助巴黎新成立的国防政府消灭巴黎公社。
10月5日，威廉一世的大本营迁到距巴黎22公里的凡尔赛，百余年来，这里都是法国国王的主要居住地和政府所在地。俾斯麦住在圣克卢大街普罗旺斯路的一幢楼里。
10月19日，威廉一世在陆军广场举行了阅兵式，以纪念莱比锡大败拿破仑一世57周年。
