平定杨玄感之乱后，黄明远便主动交出兵权，不给人丝毫诟病的机会。大隋王朝这个烂摊子，除非朝廷从上到下的进行改革，否则不是哪一个人可以扭转局势的，黄明远真心不想参和。
此时虽然战事已必，而黄明远孝期却是仍未过，黄明远真想再回邹山守孝，不管朝中风雨。不过杨广这段时间心理上受到打击，看谁都不信任，所以为了自身安全，身边还缺不得黄明远，自是不会放黄明远离开。
天子御驾回到东都洛阳，黄明远也跟随杨广一同回返。
这一次平叛虽然加了个检校司空的职衔，但其实对于黄明远来说这种虚职并没有多大意义，不过是长点俸禄，但是却让黄明远更引人注目。
三公啊，即使加个检校，大隋开国也没有几个，能做到三公的，除了皇室，都是李穆、于翼、杨素这群人，哪个不是权倾朝野。
或许这个职衔让人更能直观的看清黄明远的地位。
不过黄明远并不认为这是一个好事，出头的椽子先烂，往后要面对的四面八方的风雨将会更多。
黄明远因此也越发低调，借着未出孝期的名义，除了前往皇宫，平日里连府门也不出，什么客人都不见。
洛阳的府上除了黄明远和次子维烈，都跟着裴淑宁在邹山老家，因此府上格外空旷。至于朝臣，也都知道黄明远有意低调，即使想上赶着攀附，每每都是吃了闭门羹，即使你说破大天黄府的门子也不会让你进去。因此除了杨佶兄弟会时不时的来拜访，便没有人敢上门，更没人会邀请黄明远了。
府上的主子们都回邹山了，黄明远一个人在家，难得清闲和自由。
黄明远虽然闲不住，却是一个喜欢清闲的人，更是一个喜欢田元的人。现在不用劳于案牍之中，整日和陆贞钓鱼、下棋、吟诗、作画、种花、采菊······倒是朗月清风，怡然自得的很。
怨不得这么多皇帝昏庸，谁又能忍得住这般惬意的生活。
看着二人游山玩水轻松自在的快活样子，你很难想象二人一个是个杀神，一个是暗夜之王。
杨广一开始也以为黄明远如此是一种伪装，后来发现自己这个臣子是真的拿得起、放得下，毫不恋栈权利。
他也了解黄明远的性格，对于黄明远这种类似于撂挑子的风格虽然头疼不已，但其实也很是高兴。当皇帝的，最怕臣子恋栈权利，不舍得放手，像黄明远这种自觉的臣子，哪个皇帝会不喜欢。
于是杨广又时不时地邀请黄明远进宫陪他。不过杨广喜欢的，大多都是恢弘大气、亭台楼阁、莺歌燕舞、纸醉金迷的生活，黄明远着实不能跟他玩到一起。就像两人一起钓鱼，四面八方围得都是妃嫔、内侍、侍女、侍卫，是钓鱼啊还是钓人啊。
黄明远多次进宫的收获就是家里又多了好几个杨广赐给他的女人。黄明远不得不怀疑杨广是为了减少宫里开支，变向辞人。
跟杨广一起待了两次，杨广就不愿和黄明远一起玩了，无趣。看着黄明远看个宫廷美女的歌舞都能睡着的样子，杨广是又气又笑。在他看来，黄明远就是个享不得福的人。
黄明远倒是对于自己的出丑不以为意，歌舞倒是精彩，但在皇宫这个大笼子里，是人怎么能舒服的了。
再往后，再有这种事杨广也就不叫黄明远了。
黄明远也是直言，自己喜欢“诵明月之诗，歌窈窕之章”、“纵一苇之所如，凌万顷之茫然。浩浩乎如冯虚御风，而不知其所止；飘飘乎如遗世独立，羽化而登仙”的感觉，一个人悠然自得，达到忘我的境界，比什么灯红酒绿、纸醉金迷都舒服。
杨广看得出，自己这个臣子真的是一个奇人，一个向往自然生活的人又怎么可能贪恋权利呢？
黄明远独特的性格倒是让他在杨广的心中又重了几分，信任也多了几分。
黄明远抽空也会教授儿子和几个养子以及外甥张文玙（张方翼长子）等人功课。虽然刘仁轨、程名振、李商胡几人都是青史留名之辈，那只能说明他们有天赋和运气，但若是从小不悉心培养，再有天赋也无用。
黄明远本就文武双全，又通晓时事，见识广博，不是那般腐儒，一味读死书，因此几个孩子在黄明远的教导下，成长很快。
后来长孙无忌也是不时地来府上拜访，便加入了他们的团体，跟着黄明远求学。黄家的大门拒的都是不想见的官吏，至于长孙无忌这些小孩子有谁会注意呢？
长孙无忌的舅父高士廉因与斛斯政有交往，受到牵连，本来要流放岭南，但因为黄明远说情，并未被深究，只是被贬为长沙郡郡丞。但即使如此，舅舅的离京也使得长孙无忌母子失了母族的依靠。他年纪不大，但因为从小丧父，性格老成，担心黄明远看不起长孙家的没落会悔婚，因此一有时间便往黄明远府上跑，希望能够得到黄明远青睐，好重振门楣。
十五六岁的孩子，正是可塑性最好的年龄，黄明远并不在乎长孙无忌的功利，只要他不做有违德行的事情。自己当年也是从怀着一份幼稚的功利心讨好杨广才出头的，这个年龄段的年轻人能够勇敢地承担起自己的责任远比莽撞与退缩要好的多。
长孙家毕竟是长子的岳家，黄明远也想扶持对方一番，免得因为地位沦落而使长子难看。
黄明远也不担心长孙家日后的尾大不掉，长孙家在唐朝的迅速膨胀除了有长孙皇后和长孙无忌二人外，是基于其出身关陇世家，是关陇世家新的代表。而没了关陇世家在后的推手，长孙家即使成了外戚也只是一个普通世家。
本着“一个也是养，两个也是放”的原则，其他一些姻亲子弟和黄明远看得上的晚辈，有时候也会来府上受教，毕竟人才难得。
而这其中最特殊的人便是黄明远唯一一个弟子李世民了。