据《恽氏家乘》记载，恽氏始祖子冬为汉梁王左相。汉司空伏恭为其撰写的墓志铭称子冬是司马迁外甥平通侯杨恽之子。明代学士吴沈纂集天下姓氏，谓杨恽因故被汉宣帝降旨腰斩，其子远迁毗陵黄山（今属常州市新北区孟河镇）避难隐居，以父名恽为姓。恽子冬为恽氏第一世（代），传至宋朝恽方直为44世，其长子绍恩留居河庄（现名孟河镇），次子继恩迁徙城南上垫（清咸丰、同治年间改称上店，今属常州武进区湖塘镇），恽氏遂分北南二支，世称北恽、南恽。

    常州望族不少，但宋朝之前，就在常州长期定居之氏族少有。自汉至今，泱泱二千余年，恽氏已传至77世。由于历史原因，恽氏在毗陵（今称常州）闻世后，其子孙严循祖训，以耕读传家，不为朝官，直至宋朝宝庆丙戌恽文（46世）以进士入仕。明清二朝，恽氏名人辈出，成为常州望族。