海瑞回到家乡以后,很少和人交往,陪着年过古稀的老母过着安贫乐道的生活。但不久,老母谢氏就死了,夫人王氏和儿子也都相继病故,只有两个年轻的侍妾陪伴着他生活。在孤寂中,海瑞度过了十六个年头。
自从海瑞退职还乡以后,虽有朝中官员多次替海瑞说话,荐举海瑞重新仕职。但是,当时的权臣张居正深知海瑞峭直的禀性,至死也无召用海瑞之意。万历十年(1582),张居正死了。万历十三年(1585),朱翊钧决定起用海瑞,任命海瑞为南京都察院右佥都御史,后来又改南京吏部右侍郎,翌年升任南京右都御史,这时海瑞已经七十三岁了。年纪虽大,但他的刚劲廉洁却不减当年。按照明朝体制,南京是陪都,虽然也设五府、六部,但不能决定国家大事,是安排一些政治上失势的高级官员的地方。
但是,海瑞并没有因为居职清闲就无所作为,他一到任,就出布告,严禁向新任官员送礼,他认为在朝廷做官和在家不一样,各衙都不应前来送礼,“此酬彼答,殊为虚伪”,并把已经送来的礼物一一送回,这样一来就再也没有人敢来送礼了。与此同时,海瑞还明令禁止在京各衙门向百姓摊派物品。他说,要百姓负责供给南京城成百成千官员的物品,负担太重了。因此,他明确规定,除了按规定必须供应的之外,一分一文也不许官员多取,否则严惩不贷。
但是,当时明政府官员已十分腐败,贪污成风,海瑞以为要禁止贪污,就要实行朱元璋惩办贪官的律法,凡贪赃在80贯以上的官员都要处以剥皮实草的极刑。这一大干众怒的提议在文官中造成了震动。谁知一波未平,一波又起。有一位御史在家里招了一班伶人排戏,海瑞得悉此事,就宣称按照洪武的祖制,这位御史理应受到杖责。其实这类事情在南京已属司空见惯,海瑞却以为有坏风俗而加以反对。这样,一石激起千层浪,许多朝官群起而攻击海瑞,指责海瑞是以“清平之世,创闻此不祥之语”。提学御史房寰首起上书,弹劾海瑞,说海瑞本“一介寒生”,却“以圣人自许”,并责问海瑞要把圣上置于何位,挑拨皇帝和海瑞的关系,使朱翊钧对海瑞不信任。海瑞心正不怕邪,上书力驳房寰,并揭露房寰的劣迹。但朱翊钧对此却不加表态,认为“是非自有公论”,由谁来论,他也不说。实际上是把海、房之争无原则地放在一边,助长诬告者房寰的气焰。但是在京办事的几位年轻进士,如顾允诚、彭遵古等,出于对海瑞的爱戴,联合上疏为海瑞鸣不平。海瑞墓朱翊钧却以进士不应多管朝廷是非为由,对他们做出“革去冠带,退回原籍”的处理,由此更可以看出最高决策层对海瑞名扬实抑的态度。
但是,海、房之争并没有就此结束,被卷入的官员越来越多,皇帝又多方偏袒房寰,海瑞只好要求告老还乡,万历皇帝又再三挽留,执意不允。万历十五年(1587),海瑞卒于官舍。临死前三日,兵部送来柴薪费多算了七钱银子,海瑞让人给退了回去,所言之事,无一语及私。死后,清理他的全部家产,只余银十余两。南京缙绅及百姓,听说海瑞死了,十分悲痛。朱翊钧听到这些事,也很过意不去,下令替海瑞举行隆重葬礼,加封太子少保,谥忠介。
海瑞的名字可谓震古烁今,足可与中国历史上任何朝代的清官相提并论。他个人生活清苦俭朴,为官刚直不阿、嫉恶如仇、不畏强暴,称得上是中国古代“清官”的典范。然而,当我们综观海瑞一生,却发现其宦途相当坎坷,他虽以古稀之年卒于官舍,但他一生中真正能够匡时济世的时间却很短暂,往往是稍有举措,便谤议四起,朝廷最高决策层对海瑞的态度也是名扬实抑,根本不予重用。在群臣的反对之下,连当朝皇帝也采取模棱两可的态度。海瑞在朝廷中实际上处于相当孤立的地位,这恰恰是海瑞的悲剧,值得后人深思。