医院的前身是1949年10月成立的河南省人民政府干部休养所，位于开封市南关。1950年10月搬迁到信阳鸡公山，任务由接收省直机关慢性病人扩大为接收全省县级以上干部慢性病人休养，后因山区交通不便，气候不适，1952年10月迁至郑州市菜市街河南省第二人民医院，并开始筹建新所。1953年元月单位改组，一部分人员到汲县筹建河南省干部疗养院，其余人员到辉县筹建河南省百泉干部休养所，仍隶属河南省人事局领导。1953年5月省百泉干部休养所建成，并开始接收病人休养。1958年12月更名为河南省气功疗养院，并改由省卫生厅领导，1962年10月正式定名为河南省百泉干部疗养院。1969年1月，河南省革命委员会决定下放一批省属企、事业单位由地、市、县革命委员会领导，河南省百泉干部疗养院被下放到新乡地区，更名为新乡地区第二人民医院，1970年5月搬到延津建院。1971年5月撤销新乡地区第二人民医院，并入汲县人民医院。
1980年7月，河南省人民政府批准在新乡辉县百泉旧址恢复河南省干部疗养院，隶属省卫生厅领导, 1980年11月开始筹建，1982年7月建成并投入使用，编制床位150张。1995年机构改革时，省政府取消疗养院（所），经省编办批准更名为河南省百泉肿瘤医院，事业编制80人，经费实行差额预算管理，单位任务改为承担周边群众的医疗、保健工作。2006年11月，经省编办批准，医院更名为河南职工医学院附属医院。
2007年11月，经河南省卫生厅报请省政府批准，省发展改革委批复将医院整体迁建至郑州新郑龙湖开发区。2008年8月，经河南省卫生厅批准同意医院第二名称为河南省第二人民医院。2008年9月，经河南省红十字会批准，医院增挂河南省红十字会第一医院名称。
2011年10月，位于郑州南龙湖宜居教育城的河南省第二人民医院全面开诊。
