观庄赵氏和常州的赵姓一样，都把祖先追溯到了宋代皇室，以宋太宗弟魏王赵德昭为祖先。后金兵灭北宋，宋室南渡，赵氏皇族也遂之迁居江南一代。南宋末年第十一世赵孟堙（1267—1332）在元代曾出任过高邮州录事参军，元泰定二年（1325），他辞官回浙江老家，路过常州，遇到一个异人，称此地风水极好，居住于此，可以子孙繁衍，家财万贯。于是他便在武进的政成乡倾盖亭处留了下来，由于他是在西去浙江的路上停留下来的，所以将倾盖亭改名为西盖村，即今武进横林赵家塘村。五年后，赵孟堙去世，安葬在村旁不花墩。他的两个儿子赵由彭、赵由俊便定居于此。到了明代，第十六世赵珍入赘邓氏，迁居至栖鸾乡观庄，即今天的嘉泽观庄村，遂为观庄赵氏始迁祖。
观庄赵氏一直在乡务农，所谓“耕读传家”，至第二十四世赵继鼎（1596—1673），终于产生了一个进士。赵继鼎字取新，号止安，晚年更名安愚，字迂叟，号蒋山。他青年时读书聪颖，为城内大族白氏赏识，入赘白家，从观庄迁居城中元丰桥，成为观庄赵氏入城六房的始祖。赵继鼎在城中结识当时的名士郑鄤，曾经出任郑鄤家塾的教师。崇祯十三年（1649），赵继鼎中进士，作为本家族的第一位进士，实在是件非常了不起的事。族中其他人对此是又羡慕又妒忌。其中有人信了果报风水之说，认定他家的祖坟冒青烟积德，便想将自己的祖坟迁到旁边，沾点灵气，被赵继鼎拒绝。这位族人居然为此将其祖坟上所栽树木全部伐掉来泄愤。赵继鼎恰好在三四年中丧父丧妻又丧二子，痛苦的他认定“皆族人斫伐坟树，破伤风水故，思之忿恨入骨”。不久明清鼎革，风云突变，赵继鼎因父丧，从兵部主事任返乡，从此隐居不出。当时武进知县张国枢是他的同年，在他的庇护之下，赵继鼎曾经平静地度过了易代之后的最初两年。但是“此时善良自守，多罹祸”，人生于乱世，颇是无能为力。
不久他家就“一月叛仆五人，结伙潜逃”，以前结冤的那位族人也“既值沧桑”，四处散布流言。所谓“流言”指什么，在他的年谱和其子赵申乔所撰行述均语焉不详。上海图书馆藏秦瀚才年谱抄本中附了一条引自陆度所撰《皇明广纪》的资料，记录了“流言”的真正起因：弘光帝有个太监，在南明亡国时携着玉玺出逃，云游至无锡，找到赵玉森，称是同族，赵玉森便联系他在江南的族人，如常熟赵士春、赵士锦和常州的赵继鼎，意在恢复。当时有个武弁叫华七，到处宣扬懂兵法，与参与其中，其实暗地里干着抢劫的勾当，不久便被官府擒获，随即便将此事招供。在那个非常时期，没有比与“谋逆”这两个词相关的流言更有冲击力了，此时即便张国枢也无能为力了。万般无奈之下，他为赵继鼎想了一个办法。年谱和行述将这个办法称之为“如冯良弃车杀马，裳衣腐败，草土妻子，发丧制服故事”。这个典故出自《后汉书·周燮传》：“（冯良）耻在厮役，因坏车杀马，毁冠裂裳，乃遁至犍为。”其实就是装死。《皇明广纪》作了更详细的说明：赵继鼎在家乡诈死，停尸于榻，哭临的人只看到丝绵覆面，全身盖着冥钱。三日后始下葬，张国枢还在灵前痛哭，并厚给葬金。从此，赵继鼎隐姓埋名，流亡江北，以占卜为业。然而其族人却始终没有放过他们一家。一开始是“心疑为伪，欲告发其棺”，随后又“复通叛仆胡化”，“纠府差陈季昌与布政司赵承差”，以田产纠纷为名勒索白银四百两，导致赵家田产尽失。事情到此，还没有完。族人和奴仆又纠结盗匪，将赵家房屋一把火烧光，赵家妻离子散，家破人亡。
张国枢可以说是赵继鼎一生难忘的知己，他离任后，将此事的前因后果告知了即将上任的江苏巡抚张慎学，称关于赵继鼎一案纯属冤枉，他只不过是暂时避难，其实没有死，希望张慎学能够将此案查清。张慎学终于找到流浪在江北的赵继鼎，并让沉冤得雪。张慎学和张国枢曾举存赵继鼎做官，他却只求隐居教书，高攀龙的侄子高世泰曾经为他题了一个匾“江南老教书”，这也就成了他的最得意的外号。他这个“江南老教书”居然把自己的家族教成了清初闻名全国的“三世进士”之家，赵继鼎和他的儿子赵申乔、孙子赵熊诏、凤诏、鲤诏，加上申乔的弟弟申季，三代6人都中了进士，一跃而成为当时常州最有声望和权势的家族之一，而且一直昌盛至晚清民国时期。他的裔孙，著名诗人，毗陵七子之一赵怀玉在《蓼溪年谱（即止安自叙年谱）跋》中便叹道：“今公（指赵继鼎）之后独昌，当时为难者虽不与较，子孙已陵夷不可问，余庆，余殃，固何如哉？”也许真是应了所谓果报之说吧。
赵继鼎有六个儿子，前四个儿子或是早殇，或是死于家难，五子赵申乔，六子赵申季均中进士。赵申季（1663—1708）生，字行瞻，号蔚什，又号运仙，官至山东学政。赵申乔（1644—1720）则更是康熙朝的名臣。赵申乔，字慎旃，一字松伍，别号白云道人。中康熙九年（1670）进士，初授河南商丘知县，颇有政绩，外加做事严谨，很得上司赏识，不久便进京为官，至刑部任员外郎。康熙三十年（1691），因大臣李光地的推荐，被越级提升为浙江布政使。起初赵申乔坚辞不去，康熙晓谕他道：“浙江乃财赋要地，自上任布政使张鹏翮去后，钱粮蒙混不清，如今委派你当此重任，定要秉公察核，不亏损钱粮，不连累百姓。布政使为一省之表率，你清廉了，百官自然以你为表率，”赵申乔顿首称谢，称必将尽心职守，不负皇上所望。赵申乔不但廉洁能干，性格亦十分耿直。任浙江巡抚时，他几乎参遍了当地官员。不久，因苗人叛乱，康熙遂命赵申乔至湖南镇压，并出任湖南巡抚。在湖南巡抚任上，他参奏提督俞益谟私取兵粮三十五石，康熙下诏诘问俞益谟。俞益谟反而弹劾申乔为人太过苛刻，诬陷大臣。康熙命尚书萧永藻细查此事，得知赵申乔所说属实，下诏罢了俞益谟的官，命申乔还职。康熙爱他不惧权贵，将他升为左都御史。赵申乔的耿直脾气，颇得康熙的赏识，爱屋及乌，他的弟弟赵申季、儿子赵熊诏、赵凤诏、赵鲤诏等也都受到皇帝的赏识，其中赵熊诏更成为康熙四十八年的状元。
赵熊诏（1663—1721），字侯赤，号裘萼，他虽为状元，但是科举之路却不是一帆风顺。康熙二十年（1681），后来任直隶总督的常州人唐执玉入都求学，途经商丘。当时赵申乔任商丘县令，唐执玉的伯父唐于昶则在县衙中担任赵申季、赵熊诏、赵凤诏的私塾老师。唐执玉离开的时候，唐于昶和赵申乔说到：“我觉得这几个小孩当中，你的二儿子赵凤诏应该是最快成为进士的，而你的大儿子应该是大器晚成，几个人当中最晚的，但他肯定会中状元，至于我的侄子和你的弟弟，应该在你的二儿子之后中进士。”后来一切正如唐于昶所预料的那样。康熙二十七年（1688），赵凤诏首先中进士，年仅二十五岁。康熙三十六年（1697），赵申季中进士，两年之后的康熙三十八年（1701），赵熊诏方才中举，到了康熙四十六年（1709），赵熊诏终于如愿以偿，高中状元，这时他已经是四十七岁了。
康熙四十六年这一科的会元是桐城人，古文大家戴名世，他中了这一科的榜眼。戴名世是名噪一时的才子，天下人都认为状元是他的囊中之物，所以当时已经有传言称赵熊诏中状元是沾了他父亲的光。不久，赵家和戴家又因为另一件事牵扯到了一起，这就是著名的南山案。戴名世的《南山集》中有关于南明政权史实的部分材料，引用了桐城另一位学士方孝标所著的《滇黔纪闻》。书中所记南明之事，皆用南明年号，戴名世转录到自己的文集中，也未作更改。赵申乔便以“所作书内，将本朝年号销除，将永历年号写入等大逆不道之语”参奏上去，把戴名世送上了刑场。当时方孝标已死，被开棺戮尸，为其作序的另一位桐城派古文大师方苞亦受牵连。而参与刊印以及收藏、知情不报者和处置不力的官员一概治罪。戴、方两族人多死于非命，其余人等被流放到黑龙江的宁古塔。后来康熙为收买人心只斩了戴名世，其家人等皆加恩宽免。但是受《南山集》案株连的几百人，或发配边疆或沦为奴隶，命运凄惨。《南山集》案成为康熙朝末年的一桩著名的文字狱。
赵申乔为什么要纠参戴名世，以至于导致一场大狱，历来都有不同的看法。来新夏先生在为法国汉学家戴廷杰《戴名世年谱》所作书评曾称，赵申乔之所以纠参戴名世，是因与他的长子即戴名世同科状元赵熊诏有关。他认为，当时大气候很不好，既有皇子结党事件，又有南北闱的科场案，而北闱又与赵申乔有关，所以赵申乔不仅急于洗刷自己，而且要立新功，而如戴名世的“狂悖”言论文字为他人举发，可能会牵连儿子挂上结党之嫌，更有可能牵出前科抡才不当的另一科场案，所以不如先发制人，纠参戴名世，摘清干系。这可备一说。戴廷杰所撰年谱中还引用了另外一段来自《永宪录》的话，“此为旧东宫摘其语进之，申乔遂起此狱”，即为太子指使。如果《永宪录》所言属实，很有可能伴随着康熙对太子一党的怀疑加剧，其党羽托合齐失去康熙信任之后，《南山集》案是太子胤礽最后的孤注一掷，想借以来转移康熙的视线。而江南科场案及其由此引发的噶礼和张伯行互相攻击一事，很可能是同样的手段。噶礼攻击张伯行七宗罪的一条便是认为他在审理《南山集》案时草率行事。
假定这个推断正确，那么赵申乔纠参戴名世背后应该有太子指使，而赵申乔和噶礼当为太子一党。康熙末年，太子胤礽、四阿哥胤祯、八阿哥胤禩诸人夺位之争愈演愈烈，《南山集》案背后有没有夺位党争的背影，有很多争论。更重要的是赵申乔历来以清廉著称，似乎没有发现到其介入到党争之中的线索。但是首先，很早就有人推断噶礼是太子党。著名史学家陈寅恪在为姚薇元《北朝胡姓考》作序时便称，他于内库发现噶礼所上满文奏折多本，中夹一纸片，上书汉文“勿使汗阿妈知及我弟鄂尔弼云云”等语。陈寅恪据其上下语气，此纸疑出废太子胤礽之手。如果陈寅恪此论属实，则噶礼是太子一党无疑，关于他与张伯行互相攻击出自太子授意的推断，便可以落在实处。康熙在这一事件中，坚持站在张伯行一边，将噶礼落职，明显是他明白这件事的背后阴谋是什么。其次，赵申乔与噶礼之关系确实非常密切。其子赵凤诏是噶礼在山西的重要心腹，康熙曾问赵凤诏“噶礼居官何如？”赵凤诏奏称：“噶礼为山西第一清廉官。”可见赵申乔很有可能也在太子一党之中。更重要的是，在废太子后，赵申乔又上疏另请册立，也显示出他在夺位之争中微妙的角色，既表示忠心，摆脱自己与太子关系的嫌疑，也是探听康熙的虚实，可见赵申乔纠参戴名世的背后确实是相当复杂的原因在。
来新夏的推测也不是没有道理。太子发起《南山集》案，特别是让赵申乔出面来纠参，其原因不仅是因为赵申乔身居左都御史，向有令名，而且背后还有更加复杂的因素存在。首先，因为赵申乔同样需要《南山集》案来摆脱他在北闱事件中的嫌疑。如前所述，顺天乡试解元属于冒籍，后来此人脱逃，历时多月方才追捕归案，时任主考官的赵申乔确实难辞其咎。他在北闱案发半个月之后举报南山集案，很难说没有摘清干系、转移视线的嫌疑。其次，传言称戴名世同榜的状元赵熊诏是借赵申乔以权谋私，通同作弊，其实并非空穴来风。《养吉斋余录》卷三转录有康熙三十八年顺天乡试案发生时学子所作的公揭（即大字报），将当时行贿者名单和行贿金额公开，其中便有赵熊诏的名字赫然在列：“赵熊诏因王而通李，数倍于王。”下面还有一行小字：“熊诏托王守烈献李银三千。”此处“李”即是后来因此案得罪的乡试正考官李蟠。第三，当时政治气候颇为紧张，朝中的翰林更是人人自危，到康熙五十一年底，康熙四十二年（1703）科的前四名王式丹、赵晋、钱名世、汪灏，康熙四十五年（1706）科的探花贾国维，康熙四十八年（1709）科的榜眼戴名世，康熙三十八年（1699）的江南和顺天两个解元方苞和贾兆凤均或被落职，或被下狱，也就是说前十余年的各届科举成功者有一大半未能未免。如果赵申乔不先下手为强，如来新夏所言，赵熊诏不仅可能会被牵连戴名世一案挂上结党之嫌，也有可能牵出前科抡才不当的另一科场案，甚至被扯进其它什么更复杂的案件中，所以不如先发制人，纠参戴名世，摘清干系。
《南山集》一案之后，戴名世固然丢了脑袋，而赵申乔一世清名，也毁于一旦，“申乔有清节，惟兴此狱获世讥云”。更让他料想不到的是，时隔不久，灾难便降临到他们家中。康熙五十四年（1715），噶礼事败，康熙随即想到了赵凤诏称噶礼山西第一清廉官之事，便向张鹏翮询问赵凤诏的情况，张鹏翮马上便回答山西巡抚苏克济早就参奏赵凤诏受贿，十月，赵凤诏被革职，随即问斩。赵凤诏的问斩明显是对噶礼党羽的清算。五十六年（1717）四月，赵熊诏又因私抄谕旨携出，被削职，仍留内廷供奉。此私抄谕旨一案有两种说法。第一种说法是官方记载，据《康熙朝东华录》卷九九言，陈璋、赵熊诏于今年三月内查阅档案，钞康熙去年十二月所谕江南钱粮之旨。康熙于去年有欲免江南旧欠钱粮之意，偶尔谕及，今年未行蠲免，陈、赵等人欲将其前后互异之处指出书写。据康熙言，此为两江总督赫寿欲沽名钓誉，而陈璋、赵熊诏等则为家乡谋利。他在谕旨中称：“朕知赫寿受人属托，又彼此私同商定具奏欺朕。”同时还很严厉地指出：“朕于事无不经历，人亦焉能欺朕？朕岂肯以大权授人乎？”康熙于是把陈、赵二人交九卿议罪，九卿称：“起居注事关机务，陈璋等将去岁十二月所下之旨至今年三月复行钞阅，断非无故，应交与刑部严加治罪。”康熙下旨，陈璋、赵熊诏从宽，免交刑部，着革职，仍在原行走处效力行走。第二种是赵熊诏及其子赵侗敩的说法，赵熊诏在为赵申乔所撰行述中曾简略提及此事：“不孝（指赵熊诏本人）被同官诬讦记注一事，吏议必欲置之死”，而赵侗敩在怀疑自己父母的《哀思录》中则有更为详细的记载：“丁酉三月，在起居注馆，因同官令笔帖式抄阅满字档案，与府君毫不干涉，而忌者遂牵连诬讦，下部议。”从上述记载，我们可以作出以下分析。首先，如果赵熊诏私抄谕旨属实，这固然有为家乡谋利，想让康熙核减江南钱粮的动力，但也显示出他与赫寿的关系非常密切。赫寿卒于康熙五十八年（1719），雍正五年（1727年）以其生前“谄附阿其那”之嫌，抄没家产，所遗妻妾子女俱入辛者库。据《雍正朝东华录》卷八载，雍正曾称：“从前阿其那、塞思黑、允禵等共为党与，包藏祸心，将不守本分诡随之人百计千方引诱交结，外则与阿灵阿、鄂伦岱、苏努七十、赫寿等乱臣结党往来，内则与皇考御前侍卫拜唐阿太监等钻营交结，探听一切喜怒信息。”而其中赵熊诏一事当然也有可能是属于“钻营交结”，“探听一切喜怒消息”。假使赵熊诏、赵侗敩所言属实，赵熊诏确是冤枉，但也可能肯定同样卷入某种政治风波之中了。而从赵凤诏死后，常州当地地方官的所作所为，我们也可以探知一二。据赵熊诏为赵申乔所撰行述称：“是秋，部征原籍查家产，邑令意有希合，以寒家薄产无几，难于开报，遂及三党，罗织横行，二三亲戚凡有饘粥田数顷者辄系之狱，尽籍其田以充数。至于寒舍所有一盌一箸，一纸一缕，悉登册以输之。赖观察李公、太守刘公秉公持正，令亦悍然不顾，犹以为未足，力请于上官疏参鲤诏裭职严追，将得而甘心焉。”这些地方官如果不是背后有什么势力指使的话，怎么可能对在京城有权有势的赵家如此作为呢？雍正登位之后，曾经评论过赵申乔：“即如赵申乔乃大臣中之有令名者，其临终时嘱其子孙，有门生二人某某从未谒见，若来京，不许其登门。其子孙遵奉遗言，此二门人至于愧悔无地。此人人所共知者。以赵申乔清正大臣尚不能免此陋习，则其它可知矣。然赵申乔究因此邀结私心，生子赵凤诏贪婪不法，身受国宪，未必非其徇私之报应也。”这里的“邀结私心”很有可能便是暗指参与夺位党争有关。只不过赵申乔本身相对清廉，同时也应该不是任何一个派系的核心人物，雍正才稍稍留了点情面。但是即使是一个所谓的清官，赵申乔也仍然逃脱不了官场的各种潜规则，他利用这些潜规则，也为这些潜规则所害，在波遹云诡的政治风波中，他不得不屡次主动或被动地卷入各种各样的纷争之中，来保证自己及其子孙的利益和名望，但是最后的结果却往往却并非他想得到的。这是中国官僚政治中赵申乔这种官员命中注定的悲剧。赵凤诏被斩后，赵申乔郁郁寡欢，不到3个月竟忧愤而死。赵熊诏扶柩奔丧回常州，未满月也因哀伤过度病逝。
但是赵氏家族的兴盛并没有因为政治的变化而中断。赵熊诏的儿子赵侗敩（1683—1751），字景罗，号赓西。因为康熙对老臣的照顾，在康熙四十四年（1705）南巡召试中名列第三，至京城内廷供奉，参与了《佩文斋广群芳谱》、《骈字类编》、《子史精华》等大型官修图书的编写工作。之后在湖南出任知县等地方官，最后官至浙江盐运使，有《欠山集》存世。赵家自赵继鼎起在白云溪营建居所——方玉堂，赵申乔便自号白云旧人，其宅第坐落在后北岸与县学街交汇处，即今天的后北岸4—8号。赵熊诏中状元之后，赵家便又兴建了魁星阁以示庆祝。赵侗敩在康熙五十四年（1715）开始在白云溪构其居室，名叫云窝，他还专门入此赋诗，有《云窝诗初集》和《二集》。赵侗敩次子赵绳男为贡生，官至户部郎中。辞官归里后继续营建自家花园，广种辛荑花，据洪亮吉回忆，“自此斜北至迎春桥，为文昌阁，为雪洞，为云窝，为味辛斋，大半皆赵家楼阁也”。赵氏“所居擅云溪之胜”，尤以云窝为最佳，“每夏日疏帘清簟，坐卧其侧，画舫过阁下者共识为赵公子读书处焉。”
赵骏男长子为赵华玉，赵华玉生子赵学愈和赵学辙。赵学愈（1761—1814），又名学愚，字亦之，弱冠即能诗，经常与堂哥赵怀玉和洪亮吉、孙星衍结社酬唱，有《亦之诗》，收入于李兆洛所编《旧言集》中。赵学辙（1768—1833），字季由，号蓉湖，嘉庆四年（1799）进士，官御史，后任湖州知府。赵学辙是当时著名的书法家，并擅画墨兰，同时工篆隶书，习篆刻，精朱文。他的儿子赵京锡（1804—1874），字子谦，书法学欧阳询，秀劲毕肖。
赵绳男长子为赵怀玉（1747—1823），字亿孙，号味辛，晚号收庵，室名亦有生斋。在赵侗敩考中康熙南巡召试七十多年后，赵怀玉在乾隆四十五年（1780）乾隆南巡召试中又考取第三名，钦赐举人，出任内阁中书，后又任青州府海防同知，登、兖两州知府等职。赵怀玉好学深思，工诗擅文，诗多清癯悱婉，动之以情；文平雅深远，兼有魏禧之才和方苞之学，在常与洪亮吉、孙星衍、黄景仁并称孙、洪、黄、赵，为“毗陵七子”之一。一生编著颇丰，有《亦有生斋诗集》、《文集》存世。“毗陵七子”中的另一位天才诗人洪亮吉也和赵家有亲戚关系。洪亮吉的曾祖洪璟和赵凤诏同在山西为官，由此联姻，祖父洪寀娶了赵申乔之女，赵凤诏的妹妹，从此迁居常州。根据洪亮吉的回忆，洪寀最初就居住在白云溪赵申乔家，后徙县西大宅，遂以故居归赵氏。
赵怀玉弟弟为赵球玉，其子为赵学彭（1779—1821），字子述。赵学彭的女婿是著名近代爱国思想家，地理学家、山西平定人张穆，张穆所著《蒙古游牧记》为近代边疆史地的代表著作。赵学彭的儿子是赵振祚（1805—1860）字伯厚，号芝舫。赵振祚少年时代随舅舅，著名经学家刘逢禄读书，后中道光十五年（1835）进士，官翰林院编修，詹事府赞善。咸丰三年（1853），太平军攻下安庆，赵振祚上书朝廷，要求回乡办团练，在得到允许后，遂回到常州，和时任浙江布政使的同乡汪本铨一起在常州办保甲局。咸丰十年（1860）闰三月，丹阳被太平军攻陷，清军围困太平军的江南大营遂告失守，钦差大臣和春自尽。四月，当时驻扎常州，负责江南防务的两江总督何桂清不顾常州士民的阻挠，仓皇出逃，赵振祚至乡间招募人员守城，途中遇到太平军，被杀，著述也多被毁。
赵凤诏虽被问斩，但是他这一支也是人才辈出。赵凤诏（1664—1718），字侣台，号尔宜，官至太原知府。他的玄孙是赵仁基（1789—1841），道光六年进士，字至湖北按察使，工诗，为官以善于断狱闻名。卒于官时，宦橐萧然。他娶了常州著名的骈文家方履篯的妹妹方荫华。方荫华（1801—1856），字季娴，是著名的才女，有《双清室诗》存世。赵仁基和方荫华有两个儿子，赵熙文和赵烈文。赵熙文（1831—1880），字敬甫，赵烈文（1832—1893），字惠甫，号能静居士。赵氏兄弟都有文才，其中赵烈文更是中国近代传奇式的人物。
赵烈文二十二岁时便放弃了科举考试，以研究经世致用的学术为自己的目标，他常常和族叔赵振祚，哥哥赵熙文、姐夫周腾虎、好朋友刘翰清等人讨论国家大事，兄弟两人还和管乐、杨传第等人在白云溪边举行云溪词社，互相唱和。咸丰五年（1855）年十一月，赵烈文和自己的好朋友龚自珍的儿子龚橙应周腾虎之邀，来到江西曾国藩幕府。当时曾国藩正在江西与太平军作战。这年的十一月二十九日，赵烈文第一次拜会了曾国藩。但是这次的会面并不太愉快。曾国藩让赵烈文参观樟树镇湘军大营，在言谈间颇为自豪。赵烈文却自截了当地说，称湘军管理懈怠，军心涣散，下场大战必败无疑。曾国藩听后十分不悦。正好赵烈文接到家中来信，告知母亲生病，赵烈文随即向曾国藩辞行，曾国藩也没有挽留。三天后，樟树镇湘军大败，曾国藩闻报后，迅速派人追赶赵烈文，一定要他说出缘由，赵烈文只回答说那是我随便瞎说的，没什么道理。曾国藩无奈之下，只得让赵烈文回家，但希望他等母亲病好之后，尽快回营。赵烈文回家后，再没有出门。咸丰十年（1860）四月，太平军连克常州、苏州、杭州，史称庚申之变。赵烈文从常州城中逃脱，亡命于江南各地。次年七月，他重至曾国藩大营。八月初九日，他抱病写下著名的《上曾涤生大帅书》，纵论天下大事及与太平军作战战略。称太平军“足以病我而不足以倾我也”，捻军“足以乱我而不足以病我也”，惟西方列强“志在不小”，“国家之患，无有甚于是者”。他在信中还建议说“外交事宜，应遣使如汉宋故事，庶得其要领”，这是在中国近代史上第一次提出了分驻各国使节的建议。曾国藩看信之后，称其“识解闳远，文辞通雅，逸才也”。这年的十一月二十五日，曾国藩给清廷上《举贤疏》，保举常州府的周腾虎、刘翰清、赵烈文、方骏谟、华蘅芳、徐寿等六人，从此，赵烈文成为曾国藩的心腹幕僚，为曾国藩出谋划策。
同治二年（1863）四月，曾国藩的弟弟曾国荃看中赵烈文的才华，向曾国藩要求让赵烈文成为自己的幕僚，赵烈文说自己“赋性疏拙，无裨世用”，但在曾国荃一再要求下，便开始辅佐曾国荃。清军当时已经进入战略反攻阶段，同治三年（1864）四月，李鸿章率军攻克常州，六月，曾国荃攻下了南京。六月二十日，太平军忠王李秀成被生擒，赵烈文专门对李秀成进行了夜审，他在自己的《能静居士日记》中详细记载了这一过程，成为日后研究太平天国的重要资料。
战争结束后，赵烈文仍然担任曾国藩的幕僚，二人经常深夜彻谈，纵论天下大事。曾国藩曾经对赵烈文说恭亲王很聪明，而慈禧则很有威严，大清中兴有望。赵烈文不以为然的说，恭亲王只是小聪明，不是大智慧，慈禧虽然看上去很有威严，但其实更容易受人蒙蔽。他的分析可谓一针见血。同治六年（1867）六月二十日，赵烈文更是发表了他著名的对时事的预测。他说当今天下势必会渐渐分裂，只不过由于朝廷尚有一定权威，而且中央政府还没有彻底腐烂，所以还能维持。但他估计，不到五十年，中央政府便会垮台，然后出现各自为政、割据分裂的局面。曾国藩不愿接受这个现实，问他到时是不是可以南迁，赵烈文说没有这种可能性。四十四年之后，清政府便宣告垮台，赵烈文准确地预测到了清朝的灭亡。
曾国藩为了感谢赵烈文多年来对他的帮助，一心想让他做官，但赵烈文对做官没有兴趣，对时局更是失望，在做了几任知州之后，便于光绪元年（1875）辞官南下，从此再不也不问世事。他在同治四年时，因故乡常州残破不堪，便在常熟购地四五亩造屋，这就是后来著名的藏书楼“天放楼”。后来他又将天放楼扩大，改造为静园，并开放让民众参观。他自己则在里面研究金石书画，渡过了自己的晚年时光。
