决定了移民的事情，黄明远主要的目的也便达成。
不过还有其他参与叛乱之人，仍需处理。实际上在杨广眼中，要处置的也是这些人，至于那些附逆的普通百姓，杨广也没有将他们当成人。
对于这些人，黄明远并没有丝毫同情。这些人不是普通老百姓，所以他们很清楚造反的后果，既然期望投资杨玄感的叛乱来获利，同样也要准备承受杨玄感叛乱失败后所要遭受的打击。
而且这些人大多是传统的保守派，旧贵族，反对杨广的改革，他们正是黄明远要打击的。
这时杨广便说道：“明远以为，若是对普通乱民以流放为主，则对于其余参与叛乱之人是否也该选择流放？”
黄明远赶紧说道：“圣人万万不可！”
黄明远很清楚这是杨广对自己的试探。杨广高高在上，根本看不起底层的百姓，将之视作蝼蚁，所以黄明远对普通老百姓的收买人心在杨广看来是妇人之仁，从不在意。但对于朝中的世家大族、文武百官则不一样，这些人是一个国家统治的基础，也是统治的威胁，杨广当然不希望黄明远与这些人有什么勾连。
杨广这么问是想看看黄明远到底有没有认清自己屁股的位置。
听到黄明远的反对，杨广倒是露出一丝微笑，他接着有些考教式地说道：“明远以为为什么不可？”
黄明远立刻说道：“老百姓出身卑贱，多没有受过教化，因此即使受人蛊惑也可以理解，只要圣人对他们宽宏大量，必能得到百姓的效死。但朝中的文武官员不同，这些人饱读诗书，通晓礼仪，深受国恩，本应该为国尽忠。但杨贼反叛，这些人便不思为国，投降杨贼，致使乱匪糜烂，京师荼毒，可谓是大不忠不孝，非严惩不足以平民愤，非严惩不足以儆效尤。”
杨广听后，嘴上的笑容更明显了。
不过杨广似乎是为了逗黄明远一番，便说道：“可是朕听说有不少人认为，这些人都是国之栋梁，且从贼之后大多反正，杀之不祥。”
黄明远听后，立刻生气地说道：“此等人皆是别有用心，一派胡言。若这些人都是国之栋梁，那那些为了剿贼阵亡的将士又算什么？若不杀尽逆贼，凭何让为国捐躯的将士瞑目？”
杨广听了也是为之动容，高声说得：“好个‘若不杀尽逆贼，凭何让为国捐躯的将士瞑目？’就该让朝堂上的那些人听一听，什么才是大义之言，什么才是忠君爱国。”
黄明远的这句话，基本便决定了一众人的命运。
现在杨广所用的一众人中，不是虞世基、裴蕴、宇文述这种奸佞，便是樊子盖、卫玄这种严苛之人，唯一一个宽仁的黄明远不反对，自是没人去触这个眉头。
黄明远虽然常与杨广意见相左，但大多时候却可以劝得动杨广，因此话语权一直都很重。
想到这里，黄明远又说道：“臣有一事，是关于先楚公杨素的。”
杨广本以为黄明远要提张寿的事情，但是没想到黄明远又扯到杨素身上，便说道：“明远且说。”
黄明远乃说道：“臣听闻有人劝圣人剥夺杨素身上的全部追衔，贬为庶民，开棺戮尸，臣以为万万不妥。”
杨素的坟墓早在杨玄感造反之初便被卫玄挖了，现在的坟墓还是杨玄感到了弘农之后又重新修建的。
对于杨素，杨广一直是又喜又畏，又用又防，最终他不需要杨素了，便把杨素逼死了。这一次杨玄感叛乱，不仅杨氏宗族受到屠戮，而作为杨玄感的父亲，杨素虽死，但也是死后不宁，不仅坟墓被挖，连死后的哀荣也要被剥夺。杨广虽然没有表露意见，但也是默认了此事。至于朝堂之上，更无人敢为杨素说话，因此此事便不公开的进行了。
听到黄明远提及此事，杨广便说道：“明远以为此事不可，杨素无罪？”
杨广说话就是这么气人。
黄明远忙说道：“当然不是，杨素有罪，罪在十恶不赦。他生了杨玄感这般逆贼，就是大隋最大的恶人。仅凭此事，如何处置杨素他都不冤枉，但是现在杨玄感已死，为了天下安宁，圣人需将杨玄感与杨素区分开来。”
“这时为何？”
杨广有些不解。
黄明远接着说道：“天下诸将，谁人不曾在杨素麾下为将，若说杨素旧部半朝堂也是实话，至于姻亲、门生、同乡、同僚等关系更是错综复杂。因此若是大肆牵连杨素，必会使得朝中众人心生畏惧，使得朝野不安。方今朝廷，实不宜有如此动乱，唯有不动杨素，方得安定人心。
且杨素有大功于国，是大隋的开国元勋，功盖朝野，本就是大隋标志性的人物。一旦杨素的地位动摇，必然有些事涉及到天子和先帝，怕是于国不利，于圣人不利。”
杨广本来还不以为然，但是听到黄明远的话也渐渐回过味来。当初杨素可是在他立为太子的道路上出力颇多，若是将杨素打倒，那岂不是说明当初的慜太子是对的，这是对杨广帝位一个重大打击。
后世为什么对于杨广即位诟病那么多，总以为是杨广、杨素对杨勇构陷才使得杨勇被废，不就是二人被打成了昏君和佞臣，成了反派，那杨勇自然成了正派。
这时杨广才如梦初醒地说道：“非明远在此，朕几致大悟。杨素有大功于国，其家族虽负朕，但朕却不负忠臣。”
“陛下圣明！”
黄明远接着说道：“臣以为杨家人该处置的便处置，绝不可使一人漏网。至于楚公，天子便可命人修缮坟墓，配享太庙，使之成为大隋一个符号。一如当年汉武帝杀尽卫家，却不动摇卫青的地位一样，圣人若如此，则翌日也将不会有人在冒用楚公的名讳生乱了。”
杨广沉默了一会，脑海里都是昔日关于杨素的事情，平心而论，杨素的确没有负过自己，就连死都如自己所愿。
“一切皆依明远之言吧！”