杨广一听，愣了一下：你这话什么意思？苏威壮着胆子继续说道：以前他们只在山东邹平闹事，现在已经闹到了河南汜水，难道不是越来越近了吗？看皇帝没有反应，苏威接着往下说：从前那些给朝廷缴纳田赋出劳役的平民都到哪里去了呢？是不是都当了乱民？我认为各地报来的民变数字根本不可信，朝廷根据这些数字无法作出准确的判断。
再说当初在雁门郡的时候皇帝已经承诺不再征辽东，而现在又在征集粮草准备再战，这样民变怎么可能停止？乱民怎么可能消失？杨广被苏威的话给噎住了，他无法找出合适的话来辩驳他，只能恨恨地看着他：这老小子怎么把实话都说出来了！无数的史实告诉我们，大臣对皇帝不能说太多的实话，否则就会对自己很不利，苏威的遭遇又一次证明了这一点。
这一年五月五日端午节，大臣们纷纷向皇帝贡献宝物表达自己的心意，别的大臣送的都是奇珍异宝，而苏威送了皇帝一本书——《尚书》。
本来皇帝端午节收礼物也就是图一个高兴，也没有指望靠收礼物发财，所以对苏威的小气也没当回事。
然而每个王朝只要有忠臣就一定会有佞臣，两者就如同猫和老鼠，缺了哪一个都不行。
有苏威这样的忠臣，就有一些佞臣，看着苏威送皇帝《尚书》，佞臣们开始在这本书上做文章，很快让他们找到了把柄。
《尚书》里有一篇文章题目是《五子之歌》，记录的是夏朝三任帝姒太康的母亲和五个兄弟在河边唱的五首歌，歌的主要内容是对暴虐的姒太康的一些抱怨和指责。
佞臣们就把《五子之歌》与苏威联系到一起，把杨广和姒太康联系到一起，最后得出结论：苏威指责皇帝跟姒太康一样暴虐，献《五子之歌》绝对是不怀好意。
佞臣们把小报告打到了杨广那里，杨广对苏威的怒气就积累了下来，不是不报，时候不到。
又过了一段时间，杨广命苏威做一份四征高丽的计划书，苏威接过话头，想借此机会让皇帝知道国内的民变到底有多严重。
苏威说，我认为这次征高丽朝廷根本不用出动军队，只要皇上下一道诏书赦免全天下的变民，让他们戴罪立功，那么马上就会有数十万的军队，就用这些军队打高丽，高丽没几天就完了！杨广一听又扯到了国内的民变上，脸上已经露出了不高兴的神情，苏威见状只能点到为止，告退出宫。
苏威走后，杨广的怒气还没有消，御史大夫裴蕴开始劝慰皇帝：这个人说话实在不靠谱，天下变民哪会有那么多，这不是让皇上操心吗？此时的杨广长出了一口气：老家伙，我忍他已经很久了，我真想当面抽他一顿！话说到这个分上，近臣裴蕴明白了皇帝的意图，不就是整人吗？简单！在裴蕴的指使下，苏威很快被控告随意任用官员，临阵畏敌，有这么几条，苏威就被削去官职，贬为平民。
又过了一个月，苏威又被控告：勾结东突厥，这可是一顶铁帽子，谁戴上，谁就是铁帽子亡。
经过审理，苏威被判处死刑，百口难辨的苏威只能拼命地叩头，一直叩出了血，嘴里反复为自己的罪过向皇帝道歉。
（到底谁应该向谁道歉！）还好，皇帝杨广网开一面，听说苏威认罪态度良好就把苏威给释放了，并让人传话说：不忍心诛杀！真是皇恩浩荡，热烈鼓掌！。