Народився у селі Панфілове Іртиського району Павлодарської області Казахської РСР у сім'ї етнічних німців, висланих до Казахстану у 1941 році. Батько – Оскар Федорович Греф, інженер; мати – Емілія Пилипівна, економіст.

Яна ГрефГерман Оскарович Греф / Дружина (у шлюбі з 2004 р.)

А вже в аспірантурі в Ленінграді, де він навчався на той час, познайомився із Собчаком (його науковий керівник) та Путіним. Військову службу Герман Оскарович Греф проходив у Внутрішніх військах МВС, причому у спецназі МВС СРСР. Його військова спеціальність була снайпером. Служба Грефа проходила у 1982-1984 роках.

З листопада 2007 року до теперішнього часу Греф Президент, Голова правління Ощадбанку Росії. Колишній глава банку Андрій Казьмін був переведений на роботу в Пошту Росії, що викликало невдоволення провідних менеджерів банку, які проголосували проти Грефа.