典出自梁·江淹《恨赋》：“至乃敬通见抵，罢归田里，闭关却扫，塞门不仕。”
这则典故说的是东汉时期辞赋家冯衍的故事：
冯衍，字敬通，京兆杜陵（今陕西西安市东南）人，从小的时候就显露出非凡的才能，到了二十岁就已经博览群书了。在王莽专政时，拒不出仕，后来加入了反抗王莽的义军刘玄的部下，更始三年（公元25年），起义军的一支——赤眉军攻入了长安，刘玄在投降后被绞死。
不久，汉光武帝刘秀招降了冯衍等人，并且任命他为曲阳县的县令。他虽然非常有才能，治理曲阳县的时候也立过功劳，但是当时朝中有一些大臣在背后诋毁他，所以一直都得不到升迁。
后来，冯衍结交外戚才升为司隶从事，不久又因为这个缘故而被罢免。冯衍在免官之后，心灰意冷地回到了自己的故乡京兆杜陵，从此过着穷困潦倒的生活。当时的世态炎凉，仕途险恶，有感于自己的人生坎坷，冯衍在回故乡之后就闭门自保，不敢再和一些亲戚朋友往来，最后潦倒而死。
南北朝时期著名的文学家江淹对冯衍等人的悲惨遭遇深感同情，于是他写了一篇《恨赋》来抒发自己的同情之心。在赋中提到冯衍回故乡之后“闭门却扫，塞门不仕”（闭上大门，扫除马车的痕迹，不与外界交往）。
后人通过文中的“闭门却扫“用来表示不和外界来往。
