羊祜曾经给从弟羊琇写信道：“东吴平定之后，我当戴上隐士的角巾，东回故里，经营一个能容棺材的坟墓。一个贫寒之士而至身居重位，怎能不因势盛气满而受指责呢？汉朝的疏广就是我的榜样。”后来，羊祜因击吴有功，应当增封爵位或食邑。他请求将自己的这份恩赐转给舅父的儿子蔡袭，于是司马炎下诏封蔡袭为关内侯，食邑三百户。
咸宁三年（277年）冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵进行追击。事后，司马炎派人追查原因，并打算移徙荆州的治所。羊祜说：“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢？让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”使者也无法责问羊祜了。
咸宁四年（278年）八月，羊祜染病，请求入朝。返回洛阳时，正逢同母的姐姐羊徽瑜逝世，他悲痛万分，病情更加严重。司马炎命羊祜抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。后来，羊祜病势加重，已不能入朝，司马炎专门派中书令张华前去咨询方略，羊祜对张华说：“当今主上有受禅让的美名，但功德尚未着称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契，这是百代难逢的盛事。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗？”张华很赞赏羊祜的主张。羊祜又对张华说：“能实现我这个愿望的是你啊！”司马炎打算让羊祜卧病统领征吴诸将，羊祜说：“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊！关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”同年十一月，羊祜病逝，享年五十八岁，并在临终前举荐度支尚书杜预自代。
羊祜死后，晋武帝司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰。荆州百姓在集市之日听说羊祜的死讯，纷纷罢市痛哭，街巷悲声相诉，连绵不断；吴国守边将士也为之落泪。随后，司马炎下诏追赠羊祜为侍中、太傅，谥号为“成”；赐“东园秘器，朝服一袭，钱三十万，布百匹”。
羊祜为人清廉节俭，服饰简易朴实，所得俸禄都用来接济亲族，赏赐军士，家中无余财，临终遗嘱，不能将南城侯印置入棺材。从弟羊琇等向司马炎陈述羊祜平生的志愿，要求葬在先人墓旁，晋武帝司马炎不许，将离洛阳城十里外的一顷地赐给羊祜作墓地。羊祜的灵柩及送葬队伍出发时，晋武帝司马炎在洛阳的大司马门南边奠祭送行。羊祜的外甥、齐王司马攸又在奏表中替羊祜之妻夏侯氏表明其家不愿以侯礼安葬羊祜的意见，司马炎下诏说：“羊祜生前多次辞让官爵，此意不可勉强。身虽死而谦让之德存，更能激励后人，伯夷、叔齐因辞让而称贤，季札因辞让而全节，正是这个原因。现恢复原来封爵，以表彰其高风美德。
喜欢济公传奇请大家收藏：(m.20xs.org)济公传奇20小说网更新速度全网最快。