字武平，北宋天圣二年(1024)进士。任扬子县尉时，适遇大水，他亲率船只救活数千百姓，在任宣州通判时，为一奸杀案，纠冤惩凶。调任湖州太守时，前任滕宗谅大力兴学，费钱数十万，僚属疑有问题。他说：“前任太守如有过错，何不及早指正?等人离去了才在背后非议，这哪里有共同负责、分担后果的意思呢?”僚属十分惭愧。其后湖州学风之盛为东南之最，多出于其力。他又筑石塘百里，以防水患，称胡公塘，士人为他立生祠纪念。

　　后为两浙转运使。入京修起居注、知制诰。当时有人主张为官七十而不告退者，由主管部门查纠。他认为应由其本人自报，以全其晚节。又建议礼部将贡举由两年一次改为3年一次。此议于北宋治平三年(1066)起施行。

　　后任翰林学士兼端明殿学士，知审官院。泾州兵因久不发饷，将激起骚乱，诏旨惩办三司吏。三司使包拯拖延未予处理。他说：“军饷超期85天不发，包拯不知自责，公然抗拒皇命，国家还有法纪吗?”包拯恐惧，立即派人处理。荐详议官时，中选者曾因水灾减征赋税。同事都认为是小过，不必上报朝廷，他却据实上报，同时又竭力推荐其才能可用。仁宗表示同意。同事怪他多事，说如果因为该员有错误而不用，岂不糟糕?”他说：“我平生诚实待人，今已白首，怎么可以有一点欺瞒呢?之所以上奏，不过听上面选择而已。”

　　北宋嘉祐六年(1061)，升枢密副使。英宗亲政后，多次告老请退。北宋治平三年(1066)，罢为观文殿学士、杭州知府。次年以太子少师退休，不久逝世，终年72岁。赠太子少傅，谥文恭。墓在阳湖安亭乡隆亭。

　　他为人清谨忠实，内刚外和，不以进退为意，临事慎重，顾全大局，不轻易改变主意，虽位居显贵，仍和常人一样俭朴。常对晚辈说：“富贵贫贱，各有天命。应当修身待命，报效国家，不要被天地所耻笑”。著有《胡文恭集》70卷已佚，存《文恭集》50卷，补遗1卷。诗的风格豪健奔放，悠远深沉，有如寒夜号角，发人深思。

　　治平元年，曾请在常州东南3里处建造“报恩感慈禅院”即清凉寺前身。南宋淳祐八年(1248)常州郡守李迪在寺内立“胡文恭公祠”。