于氏侄子接管下来困难重重，以至于发生了多次内斗群殴的事。
双方各执一词，到衍圣公跟前评理，衍圣公感觉头大，他根本不想管这些事，“两位叔祖看着解决！都是一家人，何必弄得你死我活？”
让五太爷六太爷解决自然是己方胜出，吃了亏的于氏侄子只能来姑姑这里告状。
于氏大怒，“这事我会处理，你们暂时消停些，千万别再闹事冲动。”说完吩咐拿钱安抚受伤人员。
孔家绝不是一块铁板，从几次相互状告便能看出族里心思各异，于氏是聪明的，自从有了掌控孔家的心思后已经将整个孔家家族各派势力都了解了七大八，那次群殴后于氏没有动作，偶尔召见一下子侄，给京城送了一些土仪，生活就如以往一样过着。
乾隆五十年，国子监辟雍新建落成，皇帝 亲自讲学，衍圣公帅众先贤后裔观礼，得到了皇帝的夸奖。而就在这一年孔家族人孔庙四品执事揭发孔继汾所著《孔氏家仪》一书有忤逆之词，呈状山东巡抚，孔继汾获罪入狱。
而这本书早在二十年前就写完了，到如今才有人揭发让人不得不深思。可律法在，不容你辩驳。
孔继涑带着五哥的儿孙求上衍圣公府，衍圣公前堂跪地一片“还请衍圣公救救你五叔祖吧！五哥一生醉心学问，哪有不臣之心，即使有言辞不当也是无心之举。”
孔继涑老泪纵横，这真是无妄之灾！
“叔祖请起，各位叔爷叔伯们也起来！哎！曾孙也正为这事犯难呢！五叔祖这事若属实曾孙便有失察之过，曾孙正在拟请罪书呢！”
“公爷，看在五哥帮着打理府里庶务多年份上还请您一定救救他啊！如果此难过去一定让他在家潜心学问，不再出世！”孔继涑一个头磕下去，衍圣公赶忙扶起，“六叔祖，折煞曾孙了！我这就去府衙问问！”
巡抚给了衍圣公足够的面子，人来了就被请进去，“公爷，这事我等可做不得主，公爷应该没忘明史一案吧？我等有几个脑袋敢压下此事？”
衍圣公自是知道，跟来的六叔祖最终也是无可奈何。他们解释多少都没用，巡抚即使相信你是清白的也没用，这事就得皇上开口。
巡抚给了足够他们面子，让他们见到了人，可见到了又能如何？“可恨告发的小人！”现在六叔祖最恨的就是告发之人。《孔氏家仪》在族里流传了多少年，想查都不知道从何查起，这一点巡抚是不能告诉的。
“六弟无须担心，这事关键在皇上，怎么看也是皇上一句话。”关进了大牢孔继汾越发冷静了。他预感到事情不会容易过去，这就是针对他的阴谋，他自认为无愧于天，无愧于朝廷，何来謀逆？一句“余区区复古之心”就被人诟病为反清复明，这就是断章取义！他只是想恢复孔家祖风，与前朝何干？他从没觉得自己是如此的冤枉。
“六弟，一切听天意！”
一群人又赶回了孔府，衍圣公连夜奏折，快马送京，一是为自己请罪，二是将五叔祖自辩呈上，可惜老皇帝认准了孔继汾的不臣之心，复古与复明有何区别？这就是对大清的不满。
责令刑部严查，刑部就是看皇上脸色办事的，很快孔继汾的判决下来：孔继汾乃圣人后裔，还登过仕途，如此妄言，理应重判，发配伊犁，充当苦差。
这样的判决让五房众人如遭雷击，当家人毁了，也意味着他们这一门全完了！
后来孔继汾在充军路上经儿子多方筹措借贷赎出得以自由，却一直没回老家，游历南方死于友人家中。其子文学史学造诣颇深，受其拖累，一生不得志，这些都是后话。
于氏正好命人接管了孔继汾所管的庶务，有些人仿佛从中嗅到了什么。见风使舵的忙向于氏示好，但也有不死心的硬抗，他们始终相信孔家的就是孔家的，怎么可能交外人掌控？这是不合规矩的！
于氏没着急，猫抓老鼠还要耍一耍，她只要先稳固下已经掌控的就好，也看看有些人的选择。对权利的掌控让她找到满足，唯一遗憾的是自从生了二女儿就再也没怀过。连御医看后都没什么好办法，“夫人身体没事，可能原因出自衍圣公！”
也就是她不易受孕可能是衍圣公的问题，于氏如珠如宝一般疼爱着闺女，而突然的高烧让她失了方寸，等郎中过来一看方知是天花，于氏如遭雷击，她日日求神拜佛依旧没保住闺女的生命。