一次，林肯不得不提醒林肯夫人：“我们必须要考虑一些节约之外的东西。”
但当买一些能满足她虚荣心的东西时，比如衣服及首饰，她却不仅忘记了节约这个字眼，而且还失去理智地沉迷在各类奇怪的花销中。
1861年，林肯夫人离开了大草原，她自信地预计，作为总统夫人，她可能成为华盛顿群星璀璨的中心。但让她蒙羞并吃惊的是，她发现自己在这个城市被傲慢的贵族们藐视并怠慢。而在南方人眼中林肯夫人作为一个肯塔基州人，她是不忠的，她与一个粗鲁且笨拙地赞成废除黑奴制的人结婚，这个人还对南方发动战事。
除此之外，林肯夫人几乎没有可爱的个人品质，她是个卑鄙、庸俗、嫉妒、虚假且没礼貌的泼妇。
因为自己不能得到社会声望，林肯夫人就特别嫉妒那些得到社会声望的人，华盛顿社区的统治女王就是著名的美人安迪科斯·道格拉斯，她的丈夫就是玛丽·林肯的前情人史蒂芬·道格拉斯。道格拉斯夫人及蔡斯的女儿的名望都让林肯夫人产生了强烈的嫉妒感，她决心用金钱给自己带来社会名望，那就是用钱买衣服和首饰打扮自己。
“为了赶上时髦，我必须要有钱，我得到的钱要比林肯给我的还要多。林肯太老实了，因此，我还是没办法，只能继续欠债。”林肯夫人说道。
林肯夫人的欠债量达到了几乎7万美元，这是个庞大的数字，而林肯当总统的工资才25美元。为了还债，必须将林肯两年零九个月的工资全部积攒下来。
我从伊丽莎白·凯克莉那里得到了几次证实。凯克莉是一个很不平常且聪明的黑人妇女，她付钱为自己买到了自由，然后来到华盛顿，开了个专门制作女童衣服的小店。在很短时间内，她就得到了华盛顿一些主要社会名流的青睐。
1861年到1865年，凯克莉几乎每天都与林肯夫人待在白宫，并作为一个私人女仆伺候林肯夫人。最终，她不仅成为林肯夫人的知己与顾问，还成了她最亲密的朋友。在林肯遇刺后垂死挣扎的那晚，林肯夫人唯一呼喊的就是伊丽莎白·凯克莉。
历史是幸运的，凯克莉女士写了一本关于自己人生经历的书，已有半年没有出版了，但破旧的一些副本偶尔仍能在稀罕书经销商那里买到，价格是10至20美元。标题很长：“下面的文字是关于伊丽莎白·凯克莉。她以前是个黑奴，但后来成为童装店的经营者，然后成了林肯夫人的朋友，或者可以说成‘三十年的奴隶生涯及四年的白宫生活’”。
伊丽莎白·凯克莉在1864年夏天写了这些回忆录。当时林肯准备为连任总统而努力。
林肯夫人几乎要疯了，她心里满是恐惧与焦虑。为什么？因为林肯夫人在纽约的一个债权人威胁要起诉她。林肯的政治敌人可能利用林肯夫人的债务问题在大选中制造“政治轰鸣”，并让林肯夫人达到发狂的程度。
“如果林肯连任了，我就能在他面前瞒住我欠债的事。但如果林肯失败了，债权人会跑进门，然后林肯就会知道。”林肯夫人歇斯底里地哭泣并说道。
“我会跪下来，为你去求选票。”林肯夫人对林肯哭着说。
“玛丽，我恐怕你将会因这种无法抵抗的焦虑而遭受惩罚。如果我被选上了，一切都会好的。但如果失败了，会给你带来失望。”
“林肯先生怀疑你欠账了吗？”凯克莉问道。
下面就是回忆录的一百五十页写的答案：
“上帝啊，不，”这是林肯夫人最喜欢的一个表达，“我将不会让林肯怀疑，如果他知道自己的妻子做事做到这种程度了，会让他变疯的。”
林肯被刺杀带来的唯一好的因素，就是他在没有知道这些债务的情况下死了。
林肯被刺前一周，林肯夫人在宾夕法尼亚大街的一个店子里，尝试卖掉印有自己名字字母的衬衣。
西沃德听说此事后，他带着沉重的心情将很多衣服买了下来。
当林肯夫人离开白宫时，她带了二十个箱子及五十个包。
这也引发了很多闲言碎语。
此前，林肯夫人已被公开地且反复地指控，通过伪造款待那波利亚王子的娱乐报销单诈骗美国财政部。林肯夫人的政治敌人还指出，尽管当时她只带着几只箱子来到白宫，但她离开时所带的东西足以装满一辆载货车。为什么？难道她来白宫掠夺了吗？她赤裸裸地拿走了她能拿的一切东西了吗？
即使到了1867年10月6日，也就是林肯夫人离开华盛顿两年半后，《克利夫兰先驱报》在谈到林肯夫人时这样说道：
“要让整个国家知道，弥补白宫被掠夺的一切，需要差不多10万美元，让我们来证实到底谁是掠夺行动的受益者。”
的确，在“玫瑰女人”统治时期，白宫的很多东西都被偷走了，但很难说是林肯夫人的错。当然，她犯过错，在白宫她做的第一件事就是开除白宫干事和其他的雇员，并表示她要自己管理这个地方，让白宫的一切活动都要以节约为标准。
除了门把手和厨灶外，仆人们几乎把所有的东西都偷走了。1861年3月9日，《华盛顿明星报》报道，许多参加白宫招待会的客人都发现自己的外套及晚装不见了。不久前，白宫的家具也被人用车拖走了。
五十个包及二十个箱子！那里面到底放的什么？很多都是无用之物：废弃的赠品、雕像、无价值的图画和书籍、蜡花、鹿头及其他大量旧衣和旧帽子。
“她有储存旧东西的爱好。”凯克莉说道。
当她在打包的时候，刚从哈佛大学毕业的儿子罗伯特建议母亲将火柴也带上。当林肯夫人对此施以嘲讽时，罗伯特说：“我希望装满这些盒子的车辆在去芝加哥时都着火，并烧掉你所有的这些旧战利品。”
那天早晨，林肯夫人离开了白宫，“几乎没有一个朋友与林肯夫人告别，寂静的离别让人痛苦。”凯克莉说道。
即使是新总统安德鲁·约翰逊也没和她告别。实际上，在林肯被刺后，约翰逊总统从未给林肯夫人写过一行的同情话。他知道林肯夫人蔑视自己，约翰逊以此作为对林肯夫人的回应。
按照历史来看，这一切似乎有些荒谬。林肯夫人坚定地认为安德鲁·约翰逊背后支持了对林肯的刺杀行动。
林肯的遗孀带着儿子特德和罗伯特去了芝加哥，并将在特蒙顿酒店住一个星期，他们发现价格太贵，随后又搬到一个叫海德公园的避暑胜地，并住进小的且装修简单的房间。
林肯夫人因负担不起更好的居住环境而哭泣，她拒绝去见自己以前的亲朋好友，甚至给他们写信她都不愿意。随后她安顿了下来教特德写字。
特德是林肯最喜欢的儿子，他的真名叫托马斯，但林肯给他取了个昵称叫“特德”或“小蝌蚪”，因为特德还是个婴儿时，他的脑袋就比一般同龄人的都大。
特德经常和父亲睡，在他睡觉前，特德都会在白宫的办公室里无所事事地闲逛，然后总统父亲会将他背起来，将其放在床上。在说话时，特德有点口吃，父亲常拿他当幽默素材。但作为一个有灵气的聪明男孩，特德却将他的缺点当做逃避受教育的借口。现在，他已十二岁了，但他既不能阅读也不能书写。
凯克莉在记录里说，在特德的第一次书写课上，他花了十分钟争论猿应该写成猴子，一个小木板上面的图画解释了“猿”，三个人一起努力才让特德承认了自己的错误。
林肯夫人想尽办法劝说美国国会给她10万美元，这笔钱是林肯在第二届总统任期期间应得的收入。当国会拒绝她的要求时，林肯夫人便尖酸刻薄地谴责那些“魔王”用荒谬和谎言阻拦她计划。
国会最终给了林肯夫人2.2万美元，这几乎是林肯在那年任职期间的应得收入。拿着这笔钱，林肯夫人在芝加哥购买并装修了一套外表是大理石的房子。
两年过去了。然而，在林肯夫人的房产稳定前的这段时间，她的花销紧张而且此前的债权人正在追债。现在，她不得不将自己房子的一部分出租出去，然后开始接纳寄膳者，最后，她不得不卖掉房子并搬到别处寄宿。
林肯夫人的积蓄越来越少。1867年9月，用她自己的话说，她开始采用一种令人吃惊的谋生手段。
她整理了自己的很多旧衣服和珠宝，然后用布蒙着脸，她来到纽约并隐姓埋名，她的假名是：“克拉克夫人”。她在纽约见到了凯克莉，林肯夫人拿着一包旧衣服上了车，然后开往第七大街上的二手服饰经销商店。林肯夫人还准备卖掉衣柜，但买家出的价格实在太低，让人吃惊。随后，林肯夫人找到百老汇大街609号的钻石掮客“布拉迪·凯耶斯”，他们听着林肯夫人的惊奇故事，他们说：
“听着，将你的东西放在自己的手上，几周之内，我们将给你筹集10万美元。”这听起来太棒了，所以，林肯夫人依照他们的请求，写了三封信讲述自己可怕的贫困状况。凯耶斯在共和党三个领导人前面炫耀这些信，并威胁如果他们不给自己钱，他就要将这些事抖出去。
但凯耶斯从这些人嘴里得到的只是他们对林肯夫人的评价。
林肯夫人催促凯耶斯寄给她1.5万美元，以此作为她救济穷人的资金。但要凯耶斯这样做是不可能的。
带着对共和党人的愤怒，她去找林肯生前的敌人帮忙。纽约的《世界报》是个民主报纸，它曾经被政府下令暂时停业过，他们的编辑因为野蛮地抨击林肯而被逮捕。通过该报纸的专栏，林肯夫人大肆渲染自己的贫困，称她不仅卖掉自己的旧衣服，而且还卖掉诸如雨伞及两件衣服外罩这样的小物品。
那时刚好是大选前，所以《世界报》就将来自林肯夫人的一封信打印出来，并以此严厉地抨击共和党人，比如韦德、西沃德及《纽约时报》的雷蒙德。
《世界报》庄严地邀请他们的民主读者们，为这位被遗弃的第一个共和党总统遗孀捐款，但几乎没人捐一分钱。
然后，林肯夫人又尝试让黑人们给她捐款，并催促凯克莉尽力帮自己的忙，并承诺，如果她得到2.5万美元，她将在自己有生之年每年给凯克莉300美元，如果林肯夫人去世了，凯克莉还将得到所有的2.5万美元。
随后，凯耶斯在报纸上刊登了林肯夫人衣服及珠宝的销售广告，大量人群涌入他们的商店，他们拿着衣服并抱怨，称这些衣服早已过时，而且价格还出奇得高，衣袖及裙子下边都太旧且皱巴巴的，而且衣服上还有污点。
凯耶斯还在自己的店里开设了一个认捐簿，希望那些不买林肯夫人东西的观光客会给林肯夫人捐款。
最终，在绝望中，商人们带着林肯夫人的衣服及首饰来到罗德岛州的普罗维登斯，并打算建立一个展会，收取每人25美分的入场费，但城市当局拒绝了这一方案。
最终，凯耶斯卖到了824美元，但他们却收取了820美元的服务费。
林肯夫人自己筹钱的努力不仅失败了，还为自己招来了一片谴责声。在整个筹钱努力中，她给自己带来了一系列 “羞辱”。
“林肯夫人不仅让自己蒙羞，他还让美国及自己死去的丈夫蒙羞。”《奥尔巴尼杂志》这样疾呼道。
韦德在写给《商业广告杂志》的一封信中这样谴责林肯夫人：“她是个说谎者，她是个强盗。”
回到伊利诺斯州后几年，林肯夫人成了斯普林菲尔德村里的“可怕之人”，她坚持 “古怪而很普通的交谈”，并称 “病人林肯在自己的住处是第二个苏格拉底”。这些都让《哈特福德晚间新闻》杂志吃惊，但《斯普林菲尔德杂志》这样陈述：“多年来，林肯夫人一直发疯，她应该让自己的奇怪举动得到原谅。”
“林肯夫人，那个讨厌的女人，她在全世界面前以自己的反复无常给整个民族带来了羞辱。”
林肯夫人因这些攻击而苦恼，她将自己的一切苦恼通过一封信向凯克莉倾诉：
罗伯特昨晚像个疯子，他威胁我要自杀，因为昨天的《世界报》出版了那封信。我一边哭泣一边给你写信。今天上午，我祈祷死亡。只有我可爱的特德不让我死。
林肯夫人与自己的姐妹及族人都关系疏远了，她最后甚至和罗伯特也闹僵了。林肯夫人恶毒地蔑视并诽谤罗伯特，有的内容太过苦涩，以至于公开出版前必须被删掉。
当林肯夫人四十九岁时，她给黑人裁缝写信时这样说：“我感觉自己好像不是你的朋友，也没有拯救你。”
