洪武十三年(1380年)，胡案爆发。朱元璋因为胡案杀了很多人。作为胡的推荐人，李善长没有受到牵连。即使有人举报李善长的弟弟是胡的帮凶，朱元璋也没有处罚他；然而，李善长因为胡的案子感到没有安全感，所以他选择退休后回国。然而，因为他照顾了一些他不应该照顾的东西，他造成了一个悲惨的家庭。

当时，李善长的侄子丁斌被派往边疆，丁斌的家人向李善长求助。李善长要求朱元璋在所有官员面前对丁斌宽大处理。大家都知道朱元璋恶贯满盈，反而加重了对丁斌的处罚；丁斌在监狱里，想着李善长没有帮他。为了报复李善长，他说李善长知道胡会造反，但没有告诉朱元璋。朱元璋知道后，下令仿李善长的家世。

李善长想起家里有免死铁券，就拿出来给朱元璋看。朱元璋笑着让他看铁券后面的五个大字。李善长翻了翻，看到免死铁券上写着“谋反除外”，意思是免死铁券不能免于谋反；最后，朱元璋把李善长和他的妻子、女儿、兄弟和侄子一起处死，享年七十六岁。

当然，以上推论只是从徐祯卿《剪胜野闻》等野史资料中记录和参考，属于野史，其真实性有待考证，所编造的成分相当高。然而，这样一个故事之所以流传，再次说明人们对朱元璋的形象是多疑的、嗜杀的、残忍的，朱元璋冷酷果断的性格深入人心。