唐肃宗去世，太子李豫即位，是为唐代宗，来瑱听说让他前往淮西担任节度使，十分害怕，便假托说：“淮西没有粮食，请等到收麦后再动身前往。”同时暗示将领们挽留自己，唐代宗想息事宁人，于是任命来瑱为襄州节度使、奉义军渭北兵马使。
唐代宗秘密下诏让裴奰攻打来瑱，裴奰率领部下二千人，从均州乘船沿汉江而下，到黄昏时分，哨兵报告来瑱，来瑱和众将领商议，副将薛南阳说：“您奉诏命留任，而裴奰率兵强行取代，这是师出无名。他的智谋勇敢都不是您的对手，而且军心不向着他。他如乘我不备，放火夜晚进攻，确实使人担忧。如果等到天亮，就一定能打败他。”裴奰率军在谷水北岸布阵，来瑱率军迎战，询问裴奰率军前来的原因，裴奰回答说：“你不接受朝廷的命令，所以我前来讨伐。如果你接受取代的命令，我自当解甲而归。”来瑱说：“我已经承蒙皇上的恩典，再次留下来镇守襄阳，还有什么要接受替代的呢？”说罢便取出唐代宗的敕令以及告身给裴奰看，裴奰部下士卒都说：“这是假的，我们老远来讨伐罪人，难道空手回去吗？”就争着用箭射过来，来瑱跑到大旗下。
薛南阳说：“请您坚守不动。”就率领三百名骑兵作为奇兵，沿着南山，从对方阵后杀出夹攻，将裴奰打得大败，几乎把裴奰的军队消灭殆尽，裴奰自己脱身逃跑。来瑱军队追击，在申口追上裴奰，将他抓获，押送京师。唐代宗判其流放费州，后在蓝田旧驿站赐死。来瑱入朝承认有罪，请求恕罪，唐代宗因此对他没有疑心，并对他很是优待，唐代宗任命来瑱为兵部尚书、同中书门下平章事，仍任山南东道节度使、观察使，并代替左仆射裴冕担任皇陵使。
来瑱在襄阳时，宦官、骠骑大将军程元振曾经请求和嘱托他办事，来瑱没有答应，程元振因此很憎恨来瑱。正值程元振在朝廷当权，程元振诬陷来瑱说对唐代宗不恭敬的话，恰逢王仲昇回归朝廷，他与程元振关系很好，便奏称来瑱与叛军合谋，致使自己遭叛军抓获。唐代宗的怒气增加，下诏免除来瑱的官职和爵位，贬为播州县尉，员外安置。第二天，来瑱走到鄠县时，唐代宗再次下诏将他赐死，没收他的家产，来瑱死后，府中门客都离开，他的尸体被埋在土坎中，校书郎殷亮独自后到，到他尸体边哭，给他准备棺材衣服安葬他。
后来，唐代宗知道了程元振的诬陷，因别的罪行把他流放到溱州。来瑱的行军司马庞充率兵两千人驻守河南，到达汝州时，听说来瑱去世，便率军回来偷袭襄州。左兵马使李昭抵抗庞充，庞充逃往房陵，李昭、薛南阳与右兵马使梁崇义互不买账，梁崇义杀死李昭等人。唐代宗任命梁崇义为襄州刺史、山南东道节度留后、御史中丞来代替来瑱。后来，梁崇义给来瑱修建祠堂，四季都去祭祀，避开来瑱的大堂不用，上奏请求按礼改葬，唐代宗下诏同意，并恢复来瑱的官职和爵位。
喜欢史事讲将2隋唐五代请大家收藏：(m.suyingwang.net)史事讲将2隋唐五代三月天更新速度全网最快。