隋炀帝巡幸雁门，被突厥包围，情况十分危急，想以轻骑突破重围出去，苏威劝告说：“守住城池我们有余力，轻骑突进是敌方所擅长，陛下是万乘之主，怎能轻易冒进？”炀帝于是作罢，所幸突厥不久也解围离去。隋炀帝车驾到太原，苏威对他说：“盗贼不止，士兵马匹极度疲惫，希望陛下回到京城，巩固朝廷加强国力，谋划朝廷社稷大事。”隋炀帝本来认可他的意见，最后却又听从宇文述等人的提议，去了东都洛阳。
天下大乱，苏威知道隋炀帝不可改变，心中很担忧，刚好隋炀帝问侍臣有关盗贼的事，宇文述说：“盗贼的确很少，不足为虑。”苏威不会说假话，于是便藏到宫殿柱子后面，隋炀帝问苏威的意见，苏威说：“我不管这事，不知盗贼多少，只担心他们越来越近。”隋炀帝说：“怎么讲？”苏威说：“盗贼以前占据长白山，近在荥阳、汜水一带。”隋炀帝不高兴，便不再问了。不久，适逢五月初五，百官献礼，多献珍宝奇玩，苏威献上一部《尚书》，旨在劝诫隋炀帝，炀帝更加不满，后来又问他讨伐辽东之事，苏威说，希望能赦免群聚的盗贼，让他们讨伐高丽，隋炀帝因此更加恼怒。
御史大夫裴蕴明白隋炀帝心意，让白衣张行本告苏威往日在高阳郡主持选拔官员时，滥授别人官职，又说他害怕突厥，请求回到京师，隋炀帝下令调查这些事。案件议定之后，隋炀帝下诏说：“苏威生性热衷于朋党，好为异端，心中怀揣旁门左道，贪图名利，污蔑国家法令，诽谤朝廷官员。多年征伐外国，是为了尊奉先皇的遗志。凡有询问等事，朝臣们都能毫无保留的陈述意见，只有苏威不表示态度，作为人臣发挥正义的天职，怎么能这样呢？恭对咨询的心意，是何等的凉薄！”于是解除了他的官职，将他贬为庶民。
过了一个多月，有人告苏威与突厥勾结阴谋举事，大理寺因此审问苏威，苏威自己申辩说，他侍奉二朝三十多年，精诚所至不能让皇帝知道，各种错误接连不断，罪该万死，隋炀帝怜悯而开释他。皇帝巡幸江都行宫时，苏威随行，炀帝想要重新起用苏威，裴蕴、虞世基上奏称，苏威昏聩衰老而且多病，隋炀帝这才作罢。
宇文化及叛逆弑君后，任命苏威为光禄大夫、开府仪同三司。宇文化及失败，苏威归附了李密，不久李密也失败，苏威又回到了东都。越王杨侗任用他为上柱国、邳公，王世充僭越称帝，任命他为太师，苏威认为自己是隋朝老臣，遭遇战乱，所进过之地，都是随机而处，以希望获得收容豁免。
秦王李世民平定王世充，在东都皇宫阊阖门内理政，苏威请求拜见，自称年老有病不能下拜，秦王派人责备他说：“你是隋朝宰辅，国家政治昏聩你不能匡救，遂使生灵涂炭，国君被弑杀，国家灭亡。你见到李密、王世充，都要拜伏舞蹈行君臣大礼，如今你既然老病，那就不劳烦相见了。”不久，潜回到长安，到朝廷请求拜见，还是未被允许，后来苏威在家中去世，享年82岁。
喜欢史事讲将2隋唐五代请大家收藏：(m.suyingwang.net)史事讲将2隋唐五代三月天更新速度全网最快。