曹家實際上是家奴出身，即是皇家的「包衣奴才」，他在康熙，雍正的眼中地位類似于曹雪芹所寫的「紅樓夢」中賴家的位置。
康熙皇帝南巡和乾隆皇帝不一樣，康熙皇帝南巡是明顯帶著政治目的的，籠絡江南士人，巡視河道治理，確保江南財富重地的安全，但是在公事之余，游山玩水，縱情享樂也是「摟草ㄉㄚˇ兔子」順手的事，只是這些私事，愛惜名聲的康熙皇帝當然要找自己人來辦，因此住在曹家那是實實在在的把曹家當成了自己人，那是實實在在的恩寵，曹寅也會做官，利用接駕機會邀寵。
曹雪芹的曾祖母孫氏是康熙皇帝玄燁的乳母，曹雪芹的祖父曹寅又是玄燁的侍讀，因此玄燁對曹寅高度信任，正因為此，玄燁才把江寧織造這一「肥缺」給了曹家，并且事實上讓曹家世襲。
康熙六次南巡，四次都駐即曹寅府中，為了奉承最高統治者以圖永保祿位，曹寅四次接駕時，不僅傾注全家財力，還挪用庫銀數十萬兩，在經濟上造成了巨額的虧空。
曹寅、李煦還為康熙南巡營建「寶塔灣行宮」，康熙四十四年三月十二日，迎來康熙第五次南巡，御舟開抵三漢河寶塔灣，曹寅奏請康熙皇帝起鑾，康熙皇帝帶著皇太子、十三阿哥，后宮嬪妃駐蹕行宮。在行宮內，又是演戲，又是擺宴，真「比一部書還熱鬧」。
事實上，對于曹家的接駕安排，康熙皇帝還是非常滿意的，對于曹寅虧空公款的事，康熙皇帝心里十分清楚，但是并沒有處理曹寅反而對曹家百般維護，甚至可以說是直接出手幫助曹寅填補虧空，連著歷史上有名的「薄情寡恩」的雍正皇帝實際上都對曹家網開一面，作為皇家的包衣奴才，虧空不是曹家衰敗的主要原因。
因此，在有大臣奏報曹寅等人挪用庫銀時，康熙直接替曹寅開脫罪責：
「曹寅李煦用銀之處甚多，朕知其中情由。」
康熙皇帝把曹寅的虧空原因歸結為三條：南巡接駕、修造行宮和臨行饋送。
康熙并沒有對曹寅等人作出處罰，只是私下告誡他們盡快將虧空補上，康熙四十九年時，康熙因此事一連在曹寅的奏折上批寫了四個「小心」。
康熙五十一年（1712年）七月曹寅一病不起，歿在揚州，李煦上奏康熙皇帝，稱：彌留之際，核算出虧空庫銀23萬兩，而且曹寅已經沒有資產可以補上。曹寅歿后，康熙不但沒有埋怨曹寅沒有及時彌補虧空，反而多方運作保全曹家。
首先，為保全曹家的江南家產免遭搬遷的損毀，特命曹寅之子繼任江寧織造：兩年后曹寅之子病故，康熙又親自主持將曹寅的四侄過繼過來，接任了江寧織造的職務。
其次，康熙直接出手為曹家彌補虧空，康熙讓曹寅的大舅子蘇州織造李煦代管兩淮鹽差一年，用所得的銀子補齊曹寅生前的虧空。康熙五十四年（1715年），又查出曹寅生前虧空織造庫銀三十七萬三千兩。康熙再次做安排，讓兩淮鹽政李陳常和李煦代為補還。
雍正即位后，接連頒布諭旨，開始在全國上下大張旗鼓地清查錢糧，追補虧空。
他一再聲明，凡虧空錢糧的官員，一經揭發，立刻革職，僅雍正元年，被革職抄家的各級官吏就達數十人，與曹家既是親戚又患難與共的蘇州織造李煦也未能幸免。
但曹家并沒有被治罪，看在父皇的面上，雍正特許曹家將虧空分三年還完。
雍正四年（1726年），曹負責操辦的緞匹衣料質量「粗糙輕薄」受到重新補償并罰掉一年俸祿的處分，不久，雍正穿的石青緞褂褪色經查又是江寧織造的產品，結果又罰掉曹一年的俸祿，身為織造，連皇帝的衣料都弄不好，自然引起雍正皇帝不滿，曹家的無能由此可知。
雍正五年正月（1727年），兩淮鹽政噶爾泰向雍正密報揚州、江寧兩地官員的情況，講到曹時說：
「訪得江寧織造曹年少無才，人畏縮，織造事務都交給管家丁漢臣料理。奴才在京見過幾次，人也很平常。」
雍正看后心情憤激，揮筆寫了「原不是一個東西」、「豈止平常」的批語。
到了這個地步，雍正并沒有將曹問罪，而是決定將他召回北京當面考察和訓誡，于是傳旨，命蘇州織造高斌不必回京，他所督運的民卷匹由曹家送來，不料途至山東長清縣等處， 曹知：
「于勘合外，多素夫馬、程儀、驟價等項銀兩」
曹家飛揚跋扈，騷擾驛站，勒索賄賂，終于招致雍正「龍顏大怒」，即刻下令將其交由內務府和吏部嚴審。自此，曹家真正的衰敗了。
