严嵩被解职，回到老家南昌时，正赶上万寿节，于是他让道士蓝田玉为之招鹤，向世宗朱厚熜进献符瑞和自己的祈鹤文，世宗很高兴，褒奖了他，严嵩进而又进文，说:“臣年八十有四，只有一子严世蕃和一个孙子严鹄，都被发配到了边陲，恳请皇上将他们迁到内地，为臣颐养天年。”被世宗拒绝。严嵩被冷水浇头，开始绞尽脑汁，终于想到一个可以为他说情的人，就是他的孙女婿——孔子的第64代嫡孙、世袭衍圣公孔尚贤。严嵩想，把孔圣人的后人搬出来，世宗该不会不给面子。于是，严嵩不顾年迈之躯，风尘仆仆地来到孔府。

　　孔府门人见是一个老头，便拦住他说:“也不看看这是什么地方，岂容你随意乱进？”严嵩说:“老夫乃孔夫人祖父严嵩，你个小小的孔府，老夫怎么就进不得？”门人冷笑一声，说：“国有国法，家有家规。你自称‘祖父’，有何凭证？”严嵩立时怒火中烧，大声道:“你叫孔尚贤出来见我，看我严嵩是真是假！”

　　严嵩的喊叫声惊动了孔府的启事厅长官，启事官出来，见一个老头正指手画脚地大骂，于是喝道:“吵什么吵！这是圣人的府邸，你是何人敢如此放肆？”严嵩说:“老夫乃严嵩是也。”话没说完，启事官便打断他说：“严大人吗？此处是孔府,不是你的内阁，况且你现在已经归老乡野，还是循章为事的好。”说罢转过头去，不再理睬。

　　严嵩见势不妙，忙换作一副笑脸，好说歹说，才让这个启事官答应去禀报孔尚贤夫妇。启事官指着大堂与二堂相连的走廊上的一条高脚长椅道:“严大人先在这里歇息，一会再请您进去喝茶。”严嵩无奈，又不好发火，只得老老实实地坐在了板凳上。

　　孔尚贤夫妇闻报后，心知严嵩来意，颇感为难:见吧，此事极为棘手；不见吧，又不近情理。思前想后，孔尚贤最后还是决定：不见。但又不好直接驳了严嵩的面子，于是告诉启事官，不要理睬严嵩就行了。严嵩许久等不来人，也不见有人请他进去，府里的人也不拿正眼看自己，甚至连杯茶水都没给倒，眼见日落西山，一天水米未进的严嵩实在坚持不住了，长叹一声，灰溜溜地离开了孔府。从此，“严嵩坐冷板凳”一说，在民间流传开来。