胡耀邦夫妇育有三子一女，长子胡德平1942年11月出生于抗日根据地延安;次子刘湖（生于1945年，因胡耀邦赴前线作战，于是胡耀邦夫妻把未满40天的次子托付给陕北老乡刘世昌，直到13岁进京。胡耀邦让儿子姓刘，胡字也要加上三点）;三子胡德华；女儿李恒 随母亲姓 。
胡德平现担任中央统战部副部长等职，日常
胡德平虽然出生在高干家庭，却也是历经沧桑。1963年，他进入北京大学历史系学习。但“文化大革命”改变了他的命运。1967年毕业前夕，邓小平、胡耀邦被打成走资本主义道路的代表人物，邓朴方和胡德平也成了黑帮子女。他们在北大成了受专政的对象，使他们遭受肉体和心灵的极大创伤。文化大革命后，胡德平重拾他心爱的历史学专业，考取了中国思想史研究大家侯外庐教授的硕士研究生。
胡德平毕业后，被分配到历史博物馆工作。他为历史博物馆设立考古部多方奔走，终于感动了上级主管部门。考古部成立后，胡德平出任部长，不久后，胡德平又担任了历史博物馆的副馆长。
胡德平还致力于“红学”研究。1983年，他联合一些志同道合的中青年红学研究者，成立了“曹雪芹研究会”，他出任会长。胡德平为了考证曹雪芹的故居，到香山一带认真调查，并查阅了大量的档案材料，出版了一本名为《曹雪芹在西山》的小册子。文中的观点和传统权威的红学研究观点有很大的不同，受到了红学研究权威的反对。胡德平数次采访前辈，态度谦恭，前辈们受到感动。他们指导胡德平在学术问题上应慎重严谨，并对他刻苦钻研的精神极为赞赏。
胡德平1984年作为中共中央整党领导小组的特派员到了湖北省。在湖北时，他帮助成立了一家民间科技组织，同时支持创办理论刊物，并在刊物上发表了很有影响的文章。从湖北返京后，胡德平出任中共中央统战部秘书长，以较高的票数当选为党的“十四大”代表。
胡德平的妻子是中共中央前组织部部长安子文的女儿安黎，毕业于清华大学，80年代初到北京师范大学电化教育研究所担任一名普通助教。她是一个贤内助，与世无争，也不在同事面前摆高干子女的架子，群众关系很好。安黎曾经在1985年担任过一段时间的厦门市副市长，后携子在澳大利亚做学术访问，两年多后回国。 《家庭周末报》4.21张世明等文
