字霖甫，常州人。15岁赴日本留学，入预科，两年后入明治大学商科学习。清光绪三十年(1904)毕业，获商学士学位。回国后，应清政府礼部试，获商科举人，被派往四川总督署任文案。旋因不满官场之弊端而辞职，从事财会理论研究。所著《簿记学》，曾被张謇办的南通商校选作课本。

　　光绪三十四年，谢霖任大清银行总司帐和交通银行总会计。他为把会计事业制度化，针对中国当时记帐无规则、无报表，记载混乱和财权过分集中于少数人手中等弊端，对不适应民族资本发展的“四桂清册”结算法，进行改革，同时把旧的财会人员组织起来培训，以便适应改革后的工作。不久，两行建立起新的财会制度及推行“复式记帐原理”。他在理论联系实践的基础上，先后撰有《实用银行簿记学》、《会计学》、《审记学》、《银行会计》、《成本会计》、《公司要义》、《票据法要义》、《海商法要义》和《中国会计制度》等著作，分别由商务印书馆及正则会计事务所出版。随着财会事业的不断发展，他目睹中国处理涉外经济诉讼案件之弊，形式上由中外法官会审，实质上外国会计师欺负中国无会计制度，独揽仲裁大权，操纵一切。他认为要维护民族利权，首先要建立中国的会计师制度。1918年，向北京政府提出建议，被农商部采纳，并委托他起草《会计师暂行章程》。9月，章程公布施行。他领到了农商部颁布的“京师第一号”会计师证书，成为中国历史上第一个注册会计师。接着，他在北京、天津设立正则会计事务所，自任主任。在《银行周报》上刊登广告，承接会计业务，旋被常州商业银行聘为会计师。

　　他一生从事会计工作30余年，先后在上海、重庆、南京、成都、太原、南昌、广州、杭州、汉口、长沙、衡阳、宜宾、乐山、自流井、自贡等地设立正则会计事务所，在全国颇有影响。在承接会计业务的同时，还第一个将会计学课程搬上大学讲坛，曾任北京大学、湖南明德大学、上海商学院、光华大学、川康农工学院、复旦大学商学院(任会计系主任)教授，为我国培养大批高中级会计专业人才。抗日战争时期，在四川开办会计事务所，同时受光华大学校长之托，在成都创办光华大学分校(校长由光华校长张寿镛兼任)，任副校长兼商学院院长，主持日常教学业务。当时分校教职员工较多，他就在该校开设中学、小学、幼儿园，建食堂、宿舍等配套工程，解决教职员工子女就学和食宿等问题。1938年，有关方面从战区“战时儿童保健会”(宋庆龄创办)中抢救出200名难童，插入光华附中。他克服一切困难，安排他们入学，并专门派陈炳奎管理他们的生活和学习。

　　他主持光华分校期间，时刻不忘日军对中华民族带来的灾难，经常宣传抗日思想。在他的影响下，校内抗战歌声震天，师生经常排演抗日话剧，有时话剧中带有对当局不抵抗的怨愤情绪，他作为国民党统治区的校长，不予阻止，还亲自去看演出，以资鼓励，使校园内宣传抗战、反对卖国的呼声日益高涨。当局派特务到校阻止师生“胡闹”，并开出黑名单，要他配合逮捕有激进思想的师生。他提前通知进步师生转移，特务扑空后，对他非常忌恨，但又抓不到把柄，就在幕后挑拨煽动，掀起驱谢风潮，张贴“打倒谢霖”的标语。反动政府以“社会不满”为借口，派向传义接管他的职务。他卸任后，继续在四川各地承接会计业务。中华人民共和国诞生后，当选成都市人民代表，并为四川省政协委员。