高宏图也推心置腹地告诉皇上：“吏部张慎言清正有品，兢兢业业，所举荐的人才都久负名望，为何反被指责有罪？北方**闯贼的大臣不能用，江南现有的人才本来就没多少，如果再不合勋臣的心意，让朝廷还能去任用谁呢？至于武将选用，那是兵部的事，原本就跟吏部张慎言无关。”
朱由崧身体前倾，认真听着，不住点头。随后高弘图，姜曰广又谈起皇上身边的太监侍宠营私的一些事，朱由崧面容严肃地说：“我已经知道了，这些近臣贪赃受贿，煽风点火，真让人痛恨！”
朱由崧应该不是个浑浑噩噩的人，他观察了一些事，也思考了不少的问题，但就是迟迟没有行动。他知道刘孔昭的行为确实是蛮横嚣张得过分了，把他这个皇上根本没放在眼里，但要惩治刘孔昭，他却没有这样的勇气和魄力。
朝堂上这些严正的文臣都有些古板，他感觉身边没有几个能说心里话的亲近人，再说能稳稳当当坐在龙墩上，也不能没有那些掌握军权，拥有实力的武人呀。
满肚子屈辱的张慎言等了几天，也不见皇上主持公道，刘孔昭不仅没受到惩治，反以翊戴之功获得褒赏，老头子彻底失望了，他知道自己在南京朝廷已经呆不下去了，于是最后一次向弘光帝上书。
他回顾了自己忠心报国，屡遭贬谪的坎坷经历后，心情沉痛地说：“待罪铨曹（吏部）二十日，即被刘孔昭攻扞，已不能正常履行职责，唯有一去而已。可怜我的儿子履旋在流寇占领阳城（今山西阳城县）的时候，坚毅不屈，投崖而死，只有一个孙儿，年龄尚幼，不知流落何地，看来，今后我只有跟和尚道士为伴了。”
从此，老头子不再上朝，“撂挑子”不干了。六月二日，弘光帝命吏部司官敦促张慎言到部治事，张慎言不应。六月十日，朝廷终于同意张慎言退休。
但此时山西被农民军攻陷，张慎言已无家可归，只得流落寓居在芜湖，宣城之间，多亏孤孙辗转奔波前来寻找到他，张慎言流着泪笑着说：“有生之年还能祖孙相聚，我心愿已足。”
第二年南京被清军占领后，张慎言终日郁闷，疽发于背，告诫孙儿不准用药，最后忧愤而死。
张慎言，字金铭，山西阳城人，万历三十八年（1610）考中进士，从此走上仕途，历经万历，泰昌，天启，崇祯，弘光五朝，于弘光元年（1645）秋季去世，终年六十九岁。
