岂料，还没踏进门槛，居然被一个中书省的看门小吏拦住了，小吏对李辅国说，尚父已经不再是宰相了，按律不应该再进这道门了！（尚父罢相，不合复入此门。）
李辅国气得浑身发抖，这种不入流的小吏在以前就不带正眼瞧的，现在却被人家拦在了门外，真是虎落平阳被犬欺。李辅国又羞又恼，冲着皇宫的方向喊道：“老奴伺候不了陛下您，那就去去地下侍奉先帝吧！（事朗君不了，请于地下事先帝。）”
平心而论，李辅国尽管跋扈专权，但是对皇帝还是忠心的，拥立肃宗和代宗登基也是劳苦功高，那句让代宗在宫内享乐，国事交给他的话，多半是得意之下的无心之失，也有可能是在表忠心。代宗可就不这样认为了，会觉得李辅国的目的是架空自己。对于代宗这样一个很想有作为的皇帝，李辅国这句话简直是奇耻大辱，直接导致了后来一系列事情的发生，李辅国从此走下了大唐的政治舞台。
李辅国不再称霸后宫，左右朝政，但是事情并未结束，宝应元年（公元761年）十月十八日夜，有一名强盗偷偷地摸入了李辅国的豪宅，正在熟睡的李辅国被该盗贼剁掉了一颗脑袋和一条胳膊，一命呜呼。诡异的是，金钱财物毫厘没动，只带走了头和手臂。（十月十八日夜，盗入辅国第，杀辅国，携首臂而去。）
次日早朝，有大臣上奏，说是前任行军司马李辅国在家中被人给杀了，没了脑袋和一条胳膊。代宗一听，勃然大怒，赶忙降旨派程元振捉拿凶手。程元振找了好长时间，都没有找到凶手和李辅国的首级，最后，这件无头公案也就不了了之了。
脑袋和胳膊没找回来，代宗只能让人雕了一颗木头脑袋安在李辅国的尸身上，择日下葬了事。
《新唐书》言道：“帝在东宫积不平。既嗣位，不欲显戮，遣侠者夜刺杀之，年五十九，抵其首溷中，殊右臂，告泰陵……后梓州刺史杜济以武人为牙门将，自言刺辅国者。”
按照《新唐书》的说法，事情的原委应该是这样的：代宗派梓州刺史杜济扮作飞贼，刺杀了李辅国，杜济将李辅国的脑袋扔到了厕所当中，把他的右臂拿到泰陵，祭奠玄宗的在天之灵。
代宗命令程元振缉拿凶手，纯粹是贼喊捉贼。程元振当然心领神会，咋呼一阵子，做给外人看看就成了，不久后就偃旗息鼓，宣布无法找到凶手。
李辅国至此烟消云散，给当时的人留下的只有回忆，历史也将翻开新的一页。
李辅国被剥夺权力，以及后来被刺杀，朝中大臣自然拍手称快。代宗即位不久，忙于理顺各种关系，无暇搭理史朝义。
在这种情况下，江一尘总算过上了平静的生活，妻子卢剑梅带着一对儿女，还有父母，岳父母全部来到了长安。江一帆也带着杨芷和父母住到了长安的新家，杨芷重回长安，感慨万千，几次路过故宅，随即想起死去的父母和兄长，泪如雨下。
可儿已是懂事的女孩了，出落的秀丽无匹，年纪大了，和胡婉心反而不如小时候亲近了，惹得胡婉心笑骂不已：“小丫头，和阿姨几年不见就生分了！”连哄带骗，各种零食贿赂，毕竟是小孩心性，很快又是一口一个“阿姨”，黏住胡婉心不放了。
卢剑梅在新家里四处走了一遍，道：“一尘，这房子挺好的，就我们几个人住也太大了。”江一尘道：“让岳父和岳母在这里多住一段时间，还有我爹和我妈，我也得把他们留下来。”卢剑梅道：“我爹和我妈，还有公公婆婆，走之前就说了，不会在长安长居的，他们喜欢成都的气候和饮食，来这里是为了见见世面，看看京城的市面，顺带着游玩一番。”江一尘道：“他们都回去了，谁来照顾你和可儿邺儿？”卢剑梅道：“他们不愿意住在这里，你还能强迫吗？要不请几个丫鬟和佣人吧？”江一尘道：“也罢，家里这么多家务事，多请几个人吧，让岳父母他们也别劳累了。”卢剑梅心中欢喜，道：“就你会拍马屁，我爹知道又要称赞你了！”江一尘伸出手臂抱住妻子，低声笑道：“难道你就不称赞几句？”卢剑梅闭住眼睛，叹口气，道：“称赞的话早被我爹说完了，我都想不出什么话了！”夫妻俩都觉喜乐无限，谁都不想说话，就这么静静站着，享受这份难得的温存。
还一会儿，卢剑梅轻轻挣脱江一尘的怀抱，说道：“一尘，上次我和你说的事，你想的怎么样了？”江一尘一怔，问道：“什么事？我怎么想不起？”卢剑梅往外一指，道：“就是婉心姐的事！”江一尘这才明白，道：“剑梅，此事不要再提起了，我回成都时也没答应过你！”卢剑梅道：“婉心姐才貌双全，对你又是这么好，为何你就不要她？”江一尘在妻子背上轻轻一拍，道：“我已经心有所属！”卢剑梅心中感动，嘴上却说：“我不介意，这些年你常年在外，全靠婉心姐照顾，你总得给她个名分吧。”江一尘无法回答，只能道：“婉心这几年积累了这么多的功德，随时可能被天庭召请飞升，何必让这些俗事打扰她呢？”
卢剑梅也不懂这些，听江一尘说的在理，边道：“既然婉心姐执着于修仙，那我就不多说了，不过你可别骗我，我会去问婉心姐的。”江一尘忙道：“没骗你，我什么时候和你说过谎话？”卢剑梅一直相信丈夫，道：“不管怎样，如果婉心姐露出愿意嫁给你的口风，你要及时和我说！”江一尘笑道：“一定，一定！”