为了弄口饭吃，高尔基又一次来到伏尔加河的码头上，锯木料、扛货物，生活在流浪汉中问。这里的流浪汉特别多，在通航季节，他们在这里做苦工；冬季，他们就栖身在伏尔加河畔城市的地下室、破木棚中，受着饥寒。这些城市的商人们把一些破陋的木棚改成夜店。在那里住一夜，连同一捆铺垫的稻草，才5个戈比。流浪汉们把夏季挣的钱都用在这个季节。他们常常酗酒、打架，敢于嘲笑世上的一切。高尔基生活在他们中间，以往所看过的“惊险小说”中那些“英雄人物”，激励着高尔基想“冒冒风险”，去干一番“非凡的事业”。16岁的高尔基在饥寒、愤恨、痛苦的时刻没有悲观，以往的知识驱使他奋起抗争：
“……在那儿，我混入那些装卸工、流浪汉和无赖汉们中间，觉得自个儿好像是一块生铁投进烧红的炉火里一样，每天都给我的心上留下许多尖锐深刻的印象。”
一次偶然的机会，高尔基认识了早期的革命者安德烈·捷林柯夫。他是一个杂货店的老板，用赚来的钱支援革命事业。他的杂货店的后边开设一个全城最好的图书馆，里边收藏着一些禁书，如马克思的《资本论》，车尔尼雪夫斯基的《怎么办？》等。高尔基在这里大开眼界，他发现在这里看书的人大都关心着俄国的人民，时刻为俄国的前途担心。“他们的生活远远超出了对于个人温饱和个人恬静生活的关心。”“这些人真叫我有点像被释放前夕的囚徒一样感到狂喜。”
秋天到了，码头上荒凉起来。高尔基得找个固定工作才行。他来到喀山商人谢苗诺夫的面包房里当面包工人。他在自传体小说《老板》一书中，描述了他到谢苗诺夫那儿做工的经过：
……我看见他喝得醉醺醺的。他的眼睛上面该长眉毛的地方却没有眉毛，红红的，只长着几根细软的黄毛。他的样子活像一只令人生厌的大鸡雏。
“回去吧！”他冲着我喷出一口酒气。
我转身慢慢地向门口走去。
“喂，站住，一个月3个卢布行不行？”
我是一个体格健壮、年方17岁、能读会写的青年，难道为了一天10个戈比就替这个胖酒鬼干活么？可是，冬天我又上哪去？没办法，只好忍气吞声地说：
“就这样吧。”
面包房老板是个十分冷酷的家伙。高尔基和其他面包工人被关在阴暗的、熏黑了的地窖里，窗户被铁网钉死，活像一座监狱。每天要用7袋面粉做面包，而自己吃的却是菜汤。这时，高尔基通过一些书籍和他生活中的现实，深深认识到人间的痛苦、不幸和灾难。后来，高尔基参加了民粹派小组的活动，送传单、争论问题，引起了沙皇宪兵的监视和威胁。特别是当他接触了一些喀山大学的那些高谈阔论的大学生之后，心中又充满了自卑感。他觉得自己仅上过3年学，文化修养太低。但他又看不惯那些近似乎狂傲的大学生们对普列汉诺夫等人的攻击。如此多的烦恼，压得这个17岁的孩子几乎喘不过气来。过去没有读书，有没有读书的烦恼，渴望读书；现在读了书，又了解许多新的烦恼。高尔基看不惯那些高谈阔论的大学生们，与他们越来越格格不入。这种孤独、烦恼带给他无比的痛苦。他感到天底下自己是最痛苦的。那些流浪汉固然不幸，但他们“最重要的是对这种不幸泰然处之”，因此也不觉得痛苦。高尔基觉得自己有着强烈的人生追求和不屈的意志，但现实却使他想起过去在斯穆雷的小书箱中看到叔本华的一本书上所写的那句话：生命意志的本质就是痛苦，因为一切欲求都是由于缺乏，由于对自己现状的不满。一天得不到满足，就痛苦一天；而欲求永无止境，因此痛苦是无边无际的。人生“像一条由灼热的煤炭所铺成的环形跑道，”欲求驱使我们在这条环形跑道上不断奔驰，但永无终点，永远痛苦。
这种不加选择的乱看书毁了这个刚刚涉入人生的才17岁的少年。高尔基满腹忧伤与悲观，常常独自在黑暗的大街上踽踽而行，在教堂的周围徘徊哀叹。最不幸的痛苦降临了。高尔基突然得到一个消息：他最为慈爱的、唯一的亲人外祖母，在乞讨时跌断了双腿，因无钱医治，伤口长满了蛆虫，最后惨死在荒郊野外。外祖母是高尔基在人世间唯一的安慰。这位老人苦寒一辈子，受尽了屈辱和不幸，最后竟这样惨死。这个不幸的噩耗几乎把高尔基击懵了。他不由得放声痛哭，几天茶饭不进。每当夜晚，他独自坐在教堂的广场上呜咽流泪，为不幸的外祖母祈祷。1887年12月12日，高尔基觉得活在人间已没有什么意义。这个悲伤到极点的青年，从市场上买了一支旧手枪，对着自己的胸膛开了一枪……
高尔基想抛弃生命，但生命却没有抛弃他。如果高尔基真的自杀身亡，人类将失去一位轰动世界的文豪，那将会留给历史多少遗憾啊！
经过外科医生普柳什科夫的精心治疗，高尔基从死亡线上挣扎过来了。一个多月后，他又一次进入了充满灾难的“人间”。
不过，他的自杀引起了民粹革命民主主义者罗马斯的注意。他给了高尔基无比的关注与同情。罗马斯也把自己的不幸身世与痛苦的流浪生活经历告诉了高尔基。高尔基在他的身上，真正汲取了生活的勇气。他在《我的大学》中写道：
“我第一次感觉到这样真正热情的友谊，从企图自杀那件事之后，我非常自卑，觉得自己十分渺小，像对人们犯了罪似的，没有脸再活下去。罗马斯一定明白我的心理，他很慈祥地、坦率地向我打开了自己生活的大门，使我重新挺起胸膛。这真是一个难忘的日子啊！”
不久，罗马斯带着高尔基到距喀山四十余里的乡村开展农民教育工作。但农村的富农并不欢迎他们。1888年8月，他们放火烧毁了高尔基住的房子。高尔基冒着熊熊大火冲上板棚，去找自己的书籍。最后，他裹着一件羊皮外套从楼窗上跳了下去。十多天之后，他离开了农村，流浪到了察里津，在一个火车站上当了一名更夫。高尔基写道：
“我是杜布林卡车站的更夫，从晚上6点钟开始一直到清晨6点钟，我手里拎着棍子在货栈周围巡逻。草原上狂风怒吼，大雪纷飞，在那灰茫茫的一片暮霭中，火车头慢腾腾地开来驶去。它喘着粗气，拖着黑乎乎的一节节车厢……铁轮的轧轧声、离合器的铿锵声、奇怪的吱吼声以及低沉的号叫声，同雪花一起飘扬起来。”
高尔基的主要责任是巡夜，看守面粉、油布及其他货物。可他的站长老是从这里偷走茶叶、糖等东西去卖。高尔基在下了夜班之后，还得去给站长料理家务，如倒脏水、劈木柴、擦铜器、生炉子、照管马匹等。他几乎没有看书和睡觉的时候。1889年，高尔基辞去工作，步行一千多里，回到了故乡——下诺夫戈罗德。
故乡的老城冷漠地接待了高尔基。由于穷困，他不得已到啤酒仓库去干活。在潮湿的地下室里，他滚动着大酒桶刷洗酒瓶，并且还用小推车到铺店和用户那送货物。高尔基感到自己心中有一种什么东西需要发泄出来，可又发泄不出来，闷得他忧郁如结，十分难受。他后来回忆道：“在生活中，在人间，我必须找到某种能够使我的沉重心情得以平衡的东西，我要挺起自己的身子。”
于是，1891年4月初，他又一次离开了下诺夫戈罗德，开始了漫无边际的流浪。不过这次却是有目的的，即“亲自去看一看‘人民’是怎样生活的。”
高尔基穿过了顿河草原，走遍了乌克兰原野和炎热的诺沃罗西亚。他走过人群熙熙攘攘的车站、码头，逗留在乌黑的小城镇和破烂不堪的小乡村。不论到哪里，他总是先找个能糊口的活儿，然后再四处观察，不倦地寻找着自己所寻求的东西——人民到底在怎样生活？他们究竟在想着什么？
1891年7月15日，骄阳似火，烤得人们喘不过气来。在乌克兰的一条乡间土道上，一辆大车在缓缓地行进。车前绑着一个瘦小的女人，她被剥得一丝不挂，身上伤痕累累，胸前一条条伤口在流着鲜血。车上站着一个彪形大汉，怒气冲冲，一副凶神恶煞的样子。他高举着马鞭，疯狂地抽打着拉车的马匹和那个可怜的女人。车前车后拥满了看热闹的人群，许多人大喊大叫，不时地用一些下流的语言咒骂那个可怜的女人。高尔基碰巧经过这里，他实在看不惯这种野蛮的惨剧，便飞步上前，拨开人群，扑向车上大汉，夺下那条鞭子，把它折成几段。这一来惹恼了野蛮的追随者，他们蜂拥而上，围住高尔基痛打起来。最后，高尔基被打得死去活来，人们把他拖出村庄，扔在树丛中的一摊泥水坑里。
幸好，一位流浪的乐师经过这里，发现了高尔基。他已不省人事，气息奄奄。乐师把他背到一家医院抢救，才使他幸免一死。
原来，这个女人被丈夫怀疑“不贞”，丈夫和族人便采用这种残酷的手段来惩罚妻子。这就是我们的人民，他们愚昧、野蛮，受尽了压迫，却又反过来制造压迫。高尔基此时此刻，觉得人民心灵上的愚昧是最为可怕的。
从医院出来之后，高尔基又到了奥恰柯夫，在一家盐场做工。在那里干活的工人大都是一些备受折磨和虐待的流浪汉。他们自己受尽了折磨和虐待，反过来又折磨和虐待这个新来的小流浪汉。有一次，他们竟用劈裂的独轮车把手把高尔基的手掌皮给撕了下来。高尔基极力讨好他们，但没有成功。因为这是一种备受摧残的绝望心理的表现。高尔基赶快离开了这个地方，来到了麦科普城。这个地方刚刚发生过一次流血事件。他很快被扣押起来当见证人。一个宪兵军官审问高尔基：
“你为什么到这个地方来？”
“我想了解俄罗斯？”
“这不是俄罗斯，这是猪圈！”
……
艰苦的流浪旅途中，他当过搬运工、泥瓦匠、晒盐工人、捕鱼工人等，有时工作竟达15个小时，还常常挨饿，经历了许多危险和苦难。在刻赤海峡，他几乎被淹死；在格鲁吉亚的暴风雪中，他几乎被冻死。流浪旅途中，他接触过工人、农民、流浪汉、小偷、乞丐、宪兵军官等。高尔基观察他们、分析他们，渐渐觉得，社会中的贫穷人民，他们虽然愚昧、野蛮、残酷，但正是他们支撑着整个世界。高尔基对这些人充满了同情与怜悯。要解放他们，必须首先使他们觉醒，认识到贫穷的根源。他自己也是一个穷孩子，能够认识到这些，应归功于那些书籍，特别是书中那些“英雄人物”的启发。这时，他萌生了写作的意念。他曾有整本整本写满了诗歌的笔记本，诗中充满了对反抗精神和对穷苦人民的同情与歌颂。其中有一首诗这样写道：
成千上万的大地之子，
在大路上流浪。
他们穿过我的心田，
满怀着疑虑、惊恐和悲伤。
我把其中少数人，
怀着亲切的悲伤，
在我心灵深处保藏。
因为，他们赋予了
我火热的心以力量……
流浪生活所得的见闻，充满了高尔基的心灵。他决心要把这些东西表现出来，宣传到社会上去。
1892年9月12日，高尔基发表了第一篇短篇小说《马卡尔·楚德拉》。这是一篇歌颂自由、激励反抗的小说，登在《高加索日报》上，高尔基把这篇小说发表的那一天，看成是自己文学生涯的开端。就在这篇文章发表时，高尔基用了笔名“马克西姆·高尔基”。俄文的意思是“最痛苦的人”。就是这个“最痛苦的人”，后来竟震动了整个俄罗斯和世界的文坛。
1893年8月5日，《俄罗斯新闻》上又发表了高尔基的短篇小说《叶美良·皮里亚依》。这在俄国文学史上第一次出现了流浪汉、幻想家和好说大话的人的形象。高尔基借主人公皮里亚依之口，反映了流浪汉们苦难的生活和他们对罪恶社会的咒骂：
“我过的是一种什么样的生活？是狗的生活。没有一个窝，没有一块吃的东西——比狗的生活还不如！难道我是个人？不，兄弟，不是人，比虫、比兽都不如！谁能了解我呢？谁也不能了解。不过我知道有人能好好生活。为什么我却不能够呢？他妈的，这群魔鬼！”
这里描写的实际上是高尔基自己的生活。
1893年春夏期间，高尔基处于创作的旺季。后来他蜚声世界的许多短篇小说都是在这个时候创作的，如《科利亚的梦》《报仇》《撒谎的黄雀和爱真理的啄木鸟》《开诚布公地谈话》《女乞儿》《我跑掉了》等。而这个时候，也正是高尔基生活极为艰苦的时候，他欠了许多人的债，常常一连几天吃不上一顿饱饭、喝不上一杯热茶。但是，悲伤者一旦奋起，理想一旦找到可以施展的场所，犹如开闸的洪水，倾泻直下。高尔基一生创作了几百篇短篇小说，约有一半是在19世纪90年代创作的。在这些作品中，他所描写的大多是流浪汉、苦力、工人、乞丐、小偷、妓女等，他满怀同情地描写了他们的不幸遭遇与苦难生活，有时还表达他们抗议的呼声。同时，他又无情地揭露了沙皇专制制度的罪恶，批判了私有者、剥削者和市侩的丑恶灵魂。高尔基是以写短篇小说出名的。
高尔基，这个3岁丧父，11岁丧母，四处飘流，曾用手枪自杀的悲伤青年，凭着自己坚强的毅力、不懈的奋斗精神，终于成为举世闻名的大文豪。
