2003年7月晋升为少将军衔，2011年晋升为中将军衔。2012年初被免职。
“总后勤部原副部长谷俊山有腐败问题，这样的高人犯罪，令老百姓很不满意”--2013年8月1日，国防大学教授公方彬在人民网与网友在线交流时说的这句话，引起舆论极大关注。这是自2012年1月传出谷俊山“被去职”的消息以来，军方人士首次公开证实谷俊山贪腐问题。
案发后接受调查
“谷俊山腐败案”最早是在2012年春节期间流传开的。当时，海外有消息称：总后勤部副部长、中将谷俊山因违纪被免职，正在接受组.织的调查。香港《文汇报》随即报道指出，登陆国防部网站，发现“在‘军（委）总部带领'一栏的总后勤部带领序列中，已看不到谷俊山名字。国防部网站显示，谷俊山最近一次以总后勤部副部长身份在媒体上公开露面，是2012年1月18日在北京参加总后勤部老干部新春团拜会”。
2012年1月29日，中国军网的一位记者在新浪上发了一条微博，称军中又出了个“王守业”。2005年海军副司令员王守业落马，次年因“滥拳贪污、挪用公款1.6亿元”等罪名被判处死缓，被称为解放军史上第一贪。在总后勤部基建营房部部长这个位置上，王守业是谷俊山的前任。
据军方知情人士透露，2012年春节过后，总正治部在军队高层发了一个通报，称谷俊山因“贪污受贿”正接受纪检部门调查。
地下室搜出的物品
“谷俊山都犯了哪些事？”“以拳谋私，滥用职拳，贪污受贿，乱搞男女关系。主要是这4个方面的事。”一位了解谷俊山案情的总后军人非常明确地告诉记者。他还表示，谷俊山被查的起因是贪污受贿，有不少人举报他。
总后勤部下辖财务部、军需部、卫生部、军交运输部、物资油料部、基建营房部等9个二级部，其中，物资油料和基建营房是“最有油水”的两大部门。担任基建营房部部长时，谷俊山主管各级军人、士兵的营房建设和维修，每年掌管数十亿元的营房建设维修基金以及全军军用土地管理出让大拳，背后的巨大利益可想而知。
据知情人透露，在查处谷俊山时，部队纪检人员仅从他家地下室里就搜出茅台酒1000多箱，还有不计其数的名表、首饰、字画等。此外，还查获了他存在河南濮阳老家的大笔现金和若干黄金。
在以拳谋私方面，总后勤部很多人都知道，谷俊山把部队的大量采购业务承包给家人。比如，部队每年要购进大批帐篷、马扎等军需品，按规定需要招投标。每次，谷俊山总会先走个过场，让四五家厂商人围，然后用各种办法把其他厂商挤走，只剩谷家自己人。最后，谷家人把采购价格翻几倍卖给部队，从中获取暴利。