当时曹寅的欠了很多钱，但是因为康熙和曹寅的关系很好，所以让曹寅管着江宁织造，还负责处理一些比较机密的情报，所以康熙并没有急着催曹寅还钱。但是曹寅去世后，对曹家造成了很大的打击。曹寅的儿子曹顒在他父亲曹寅去世后也相继去世了。在两个家族的支柱相继去世的情况下，曹家开始了他们摇摇欲坠之路，一开始曹家在曹寅的姻亲李煦的帮助下稳住了。在康熙的催问下，曹家让曹寅的侄子曹接手曹家的管理，一开始曹在康熙让他推广新稻种方面做的还勉强能看。
但是也只是勉强可以而已。后来曹在密折的上奏和财政方面的缺陷就显现的一清二楚。在一次给康熙采办瓷器的差事中，曹就受到了康熙朱批的怒斥：“不知骗了多少瓷器，朕总不知。”但也仅仅只是怒斥而已，康熙并没有动手收拾曹家的意思。可能是因为，康熙不忍让已经去世的曹寅因为这些杂事不安吧！两人之间总归还有点情分在。
但是，在雍正继位之后。雍正可没有康熙对曹寅的那种情分，雍正上位之后就撤了李煦的“苏州织造”。但是曹家并没有什么反应。从这里就能看出曹家连一个脑袋清楚的人都没了。
大家都知道，雍正登基之后最大的问题就是在财政方面比较拮据，但是最让雍正接受不了的是，一直以来最富裕的江苏居然会亏空，而且雍正对曹的情报工作并不是很满意。雍正总是认为曹的那些情报都是根据大街小巷的流言上奏了。雍正一度认为曹这个人能把钱粮方面的事情办妥就已经很不错了。
曹的密折一直受到雍正的训斥，但是坏事紧接着就又来了，李煦被雍正罢免后，他的接任者是胡凤翠，胡凤翠突然就揭发李煦亏空，但是在不久之后胡凤翠就被撤职了，胡凤翠一家都自杀身亡。
但是胡凤翠的死因却是因为他和胤禟私底下有来往。同时胡凤翠的妻子又是年羹尧的亲戚，大家都知道雍正是多讨厌年羹尧的。
但是这还没有完，之后有爆出已经被撤职了李煦一直给胤禩的奴婢送礼，在这件事情爆发之后李煦在第一时间就被捕了。
曹家的人在知道李煦出事之后，第一件事情就是做的转移财产，因为曹家的家庙前面的两个高有五尺的镀金是指就是胤禟送的。但是曹垮台的直接原因是因为雍正的宠臣两淮巡盐御史噶尔泰的奏报。
当时噶尔泰的奏报是这样写的的：
访得曹年少无才，遇事畏缩，织造事务交与管家丁汉臣料理。臣在京见过数次，人亦平常。
雍正在曹的名字旁边朱批“原不成器”，在“人亦平常”旁朱批“岂止平常而已？”从这里大家应该就能看出雍正对曹这个人是有多么的不满意。
在第二年，曹就被撤职，家产也被抄。
