然而，随着这四大家族的发展，权势的中心也悄然发生了变化。最先衰落的是薛家，因为没有世袭的爵位，薛家的子孙早已没有任何官职在身，只是仗着祖先的情分，在户部挂虚名做了一个皇商；其次是史家，虽然史家的爵位并没有降级承袭，直到史鼎史鼐，还依然承袭着忠靖侯和保龄侯，但是通过史湘云和薛宝钗的诉苦，我们可以知道，史家的女眷包括忠靖侯夫人和保龄侯夫人本人，都已经开始自己动手做针线活计了，可见史家此时也只能维持表明的体面了，只不过是一个“世袭的穷官”罢了。
同时，在贾雨村复职的时候，他本是由林如海推荐给贾政的，但是到任之后，门子和他的谈话中，曾提到“小的闻得老爷升此任，亦系贾府、王府之力”，贾雨村了结了薛蟠的人命案之后，也专门修书两封，分别寄给了贾政和王子腾。所以，贾雨村的复职，很有可能是贾政转托了王子腾，才做成了此事。
如果这一件事还只是我们的推测，那么贾雨村的第二次升职，则完全就是王子腾的作用了。第十六回，“方知雨村亦进京陛见，皆由王子腾累上保本，此来候补京缺”；第三次贾雨村的升职，再一次和王子腾联系在了一起。第五十三回，“王子腾升任了九省都检点，贾雨村补授了大司马，协理军机，参赞朝政。”可见，贾雨村的这次升职，只怕也多半是王子腾的功劳。
《红楼梦》中的官职多位虚构，但是“大司马”一职却实有其位，历朝历代都是朝廷重臣，东汉魏晋之时，更是位列三公之上。王子腾能给贾雨村谋来这么大的官职，王子腾的权势恐怕更是要大上一些。
而贾家呢，贾赦是一个世袭的一等将军，官品虽高，但没有实权。贾政是工部员外郎，才只是五品官。第三十七回，贾政点了学差，学差也就是学政，是朝廷委派到地方主持院试的，无固定的品级，由担任该职位的官员的原品级决定，也就是说，此时的贾政，依然只是一个五品官。
所以，《红楼梦》虽然是以贾府为主线的，但是四大家族的权力中心，其实早已由贾家转移到了王家。
