哈尔滨中俄工业学校的创建，同沙俄在中国建设“东清铁路”有直接关系。（后称“中东铁路”；1945年抗日战争胜利后，又改称“中长铁路”）19世纪末，帝国主义列强掀起了瓜分中国的狂潮，哈尔滨的地理位置及其优越的水陆交通条件，使之成为俄国沙皇政府在我国东北最先攫取的一块土地。1895年2月，沙皇政府开始制订西伯利亚铁路穿过中国东北到达海参崴的计划。这个计划是从满洲里直接穿过东北到达绥芬河，而不用沿着中苏边界绕道修筑铁路，可以缩短行程1000余公里，大大减少运营时间，获得巨大的经济效益，中东铁路（即“东清铁路”）于1877年8月开始修建，1903年7月14日竣工通车。以哈尔滨为中心，西至满洲里，东至绥芬河，南至旅顺口，中东铁路全长2400余公里。中东铁路建成以后，特别是在俄国十月革命成功以后，大批俄国铁路工程技术人员及其他工业技术专家携家带眷纷纷来到东北，大都集中到哈尔滨。到这里来的商人、传道教士以及形形色色的俄国人与日俱增。大批高级技术人才的到来，为建立哈尔滨工业大学提供了师资条件，而俄籍铁路员工子女又有着接受高等教育的迫切要求；中东铁路运营业务的迅速发展，也急需补充大量的铁路工程技术人员。哈尔滨工业大学正是在这种背景下诞生的。 哈尔滨中俄工业学校是1920年5月开始筹建的。同年8月5日，成立了哈尔滨中俄工业学校筹建协会。中东铁路理事会主席宋小廉将军为名誉主席，中东铁路管理局局长德·勒·霍尔瓦特将军为主席。9月9日，筹建协会推举阿·阿·摄罗阔夫工程师为哈尔滨中俄工业学校首任校长；10月17日，举行开学典礼，哈尔滨中俄工业学校宣告成立。校址在哈尔滨市南岗区公司街41号，即位于现在的原哈尔滨建筑大学教学楼后院。哈尔滨中俄工业学校首届三个班共招收103名学生，实行学分制，学制四年，一律用俄语教学。 1923-1924学年，第一次录取31名女大学生。
1924年10月，哈尔滨中俄工业大学校有了首届毕业生。铁路建筑系22名毕业生都获得了工程师称号。
1925年，机电工程系有了第一期毕业生，共25人，获得工程师称号。1925年12月4日，首任校长阿·阿·摄罗阔夫因病离职，勒·阿·乌斯特鲁格夫继任校长。
1928年1月，铁路建筑系改为建筑工程系，50年代初期改为土木建筑系。
1928年2月4日，学校隶属关系发生变化，改由中华民国东省特区领导，校名改为东省特区工业大学校。东省特区行政长官张寰湘将军担任校理事会主席，东北政府国民教育部总长刘哲任校长。刘哲是哈尔滨工业大学的第一位中国校长。
1928年10月20日，东省特区政府和中东铁路董事会达成协议：东省特区工业大学校将法政学院和商学院并入，学校正式定名为哈尔滨工业大学，由中苏共管。按对等原则，共同派人组成理事会，双方各派5名代表。张学良将军任哈尔滨工业大学理事会主席。推选刘哲再任哈尔滨工业大学校长，副校长是勒·阿·乌斯特鲁格夫教授（原第二任校长）。
1928/1929学年在校生815人。
1931年春，开始招收研究生。机电工程系的任栋梁，建筑工程系的王竹亭、夏树森3人是哈尔滨工业大学首届中国籍研究生。
1931年秋季开始，学校开设了第三个系商业运输系，该系于1935年停办。
随着日本帝国主义入侵东北，哈尔滨工业大学逐步被日本人接管。1932年，伪满洲国政府从中东铁路聘请26名工程师来校任教和充任领导工作；解聘12名苏俄教授和教员。新组织起来的教师队伍，对教学工作不够熟悉，影响了正常的教学活动。从这一年起，学校经费锐减。
1933年，伪满洲国政府拨给经费5.3万金卢布，仅为原有经费的1/4；1934年又锐减2.5万金卢布。在这种动荡不安的形势下，不少学生纷纷离校。
1933年6月24日，校长易人，刘梦庚任哈尔滨工业大学校长。
1935年，学校完全被日本帝国主义侵占接管，除少数行政人员外，学校其他人员都被解雇离职，改用日语授课；学校指定招收中、日籍学生。经费由伪满教育部拨给。
1935年1月23日，王宇清任哈尔滨工业大学校长。
1936年1月1日，伪满洲国文教部命令哈尔滨工业大学改名为国立哈尔滨高等工业学校，系、科设置未变，学制为四年。
1937年，学校建立了电机、机械、化学、采矿、建筑、冶金等六个系。所有课程完全由日语授课。
1937年开始，哈尔滨工业大学由日本人任校长。日本人铃木正雄从1937年4月任校长，直到1945年8月15日离任。
1938年1月1日起，国立哈尔滨高等工业学校改名为哈尔滨工业大学。
从此，哈尔滨工业大学的校名就一直沿用下来。
