1901年，山东大学堂成立，下设藏书楼，这是我国较早的近代新型图书馆之一，也是山东大学图书馆历史的发端。
1924年，私立青岛大学在青岛成立，下设图书馆，至1928年因经费断绝停办。私立青岛大学是山东大学历史的重要组成部分，其校产和图书后来也成为了山东大学的财产。
1926年奉系军阀张宗昌建立省立山东大学，1928年4月北伐军进山东，张宗昌倒台，学校停办。
1930年9月21日，国立山东大学在青岛建立，首任校长杨振声和图书馆馆长梁实秋为图书馆的工作倾注了大量心血。国立山东大学图书馆成立于1929年12月，从前私立青岛大学和原省立山东大学接收过来一批藏书，为数极少，而大半是旧日课本，多不适用，故大量采购中外文图书，至1936年度，图书总数已达87805册。其中中文图书65287册，外文图书22518册，中外文杂志1208种，54116册。至1935年度，图书用费共计213383.54元，占同期经费支出的8%。
抗日战争爆发后，1937年11月学校被迫由青岛迁往安庆，不久又迁至四川万县。图书、仪器、案卷等分三批运出：第一批257箱运至西安，旋又转运万县（宜昌）；第二批837箱运至浦口，因南京失陷，全部丢失；第三批16箱运至汉口，转运万县。日军占领青岛后，将全部校舍作为海军司令部，未及运走的图书、仪器、家具等物，全部被焚毁。1938年2月23日，国民政府教育部下令“将国立山东大学暂行停办”，图书暂交国立中央图书馆保管使用。
抗日战争胜利后，山东大学于1946年2月开始在青岛复校。迁往四川的图书仪器至10月底始运回，总计图书九十余箱，其中西文书3398册，线装书5166册。后学校接管德日文书籍6674册，代管中国工程学会日文书籍5349册，又有私人赠书约2000册，复购到中西文图书8321册，至此稍有充实。
1949年6月2日青岛解放，山东大学被人民政府接管。1958年学校由青岛迁往济南，图书馆也搬迁到济南。
1966年，图书馆藏书达100余万册。据1979年的清理和查点，学校藏书总量达150万册。其中中文80万册，线装40万册，外文20万册，期刊合订本10万册。1986年学校藏书量达185万册。
至2000年，图书馆有新老校两个馆舍，外加邵逸夫科学馆的一部分，面积达16000平方米，设17个阅鉴室，有阅览座位1400个，图书借书口4个，近70万册藏书已实现开架借阅。图书馆现有藏书230万册，其中中文书刊123万册，外文书刊12万册，其余藏书分布在25个系（所）图书室中。山东大学图书馆已是国家CALIS项目在山东省综合高校图书馆中的唯一成员馆。 山东医科大学图书馆的前身是齐鲁大学奥古斯丁图书馆和山东医学院图书馆。
1903年，英美基督教会召开会议，决定将山东省内的三个教会医学学校合并为“共合医道学堂”，学堂内藏书也一并划入，山东医科大学图书馆的历史就此开始。图书馆初建时藏书数量非常有限，大多是传教士从国外带来的英文原版图书,内容除神学外,以自然科学和医学居多。
1917年，齐鲁大学正式建立，委派奚尔恩担任馆长，他聘请王天纲先生办理全馆事务。在他任职期间,为图书馆做了大量工作,总馆之外设置分馆,还策划筹备新馆建设。1922年,由加拿大危培革(Winnipeg)奥古斯丁(Augustine)长老会支会捐赠巨款修建的奥古斯丁图书馆（原址位于山东大学趵突泉校区教学七楼）竣工投入使用，巴达那继任图书馆主任。1922年,中国第一位获得美国图书馆学博士学位的桂质柏先生担任齐鲁大学图书馆主任。后来,他担任国立中央大学图书馆主任,1935年出版《分类大全》一书。1926年,皮高品任齐鲁大学图书馆主任,针对当时杜威十进分类法的不足,他在任职期间收集资料,刻苦研究,为后来编纂新分类法打下良好基础。
1930年，齐鲁大学国学研究所建立，成为当时全国最早设立的国学研究机构。先后有老舍、顾颉刚、钱穆、严耕望、郝立权、余天庥、王敦化、范迪瑞等知名学者在所研究,一度成为全国国学研究的重地。同时，齐鲁大学顺应文化界“整理国故”思潮涌动的大势，利用美国霍尔基金赞助，成为参与哈佛燕京学社国学教育与研究计划的六所教会大学之一，获得15万美元专项经费。国学研究所对图书资料非常重视，第一年添购的图书使藏书量增长了近两倍。
据齐鲁大学1936年6月统计，图书馆馆藏已达11.8万余册。1937年藏书量保守估计也超过了12万册，其中大部分为利用哈佛燕京学社经费购得。这是奥古斯丁图书馆藏书量最丰富的时期。图书馆管理非常到位，古籍均有青布四合函套,保存之善,堪称上乘。1932年检查结果显示，1922年以来全馆损失中英文书籍仅八十余册，平均每年损失8-9册。
抗日战争爆发后,齐鲁大学迁往成都，但图书资料并未随往,经过一段时间的重新购置,据1940年国学研究所年度报告记载,中文图书中有不少珍本,为国学研究所的教学和研究提供了基本条件。抗日战争胜利后,齐鲁大学迁回济南,搬迁中图书资料损失达20000余册。在接下来的两年中,由于物价上涨,国学研究所经费不足,图书增量很少,以后经费渐得恢复,藏书量一度达到118000余册。
1952年，齐鲁大学在院系调整中解体撤销，奥古斯丁图书馆解散，近14万册藏书中有10万册由山东师范学院（今山东师范大学）接收，医学类藏书和馆舍由山东医学院继承，此外山东大学也接收了一批藏书。
1932年8月，山东省立医学专科学校在济南建立。学校藏书以德语和日语文献为主。抗日战争期间学校迁往四川万县，1946年10月归济，1948年8月18日更名为山东省立医学院，同年9月24日被济南特别市军事管制委员会接管，11月并入华东白求恩医学院。
1944年10月16日，新四军军医学校在安徽淮南新浦镇建立，1947年1月发展为华东白求恩医学院。学院通过宋庆龄先生获得了联合国善后救济总署提供的一批图书资料。1948年11月合并山东省立医学院，1950年12月更名为山东医学院。
1952年，齐鲁大学医学院与山东医学院合并组建新山东医学院。新组建的山东医学院图书馆位于原奥古斯丁图书馆馆址，面积约800平方米，藏书3.17万余册，订购中外杂志369种，工作人员13人，孙绍谦教授兼任馆长。1954年图书馆迁入康穆礼拜堂，1963年迁入新建成的教学八楼一、二层。1965年藏书18.92万余册，订购中外杂志987种。“文化大革命”期间图书馆一度关闭，后又随着学校四处搬迁，建立楼德分院时拨出了一部分，因而受到很大损失，1976年藏书27.46万册，订购中外杂志607种。
1981年图书馆新楼落成，建筑面积6721平方米，其中书库2100平方米。1985年更名为山东医科大学图书馆。1986年旧书剔除工作完成后藏书39.53万册。1991年藏书量为：中文231312册、外文86837册、合订本期刊86158册。
1993年，山东医科大学图书馆被确定为首批卫生部医药卫生科技项目查新咨询委托单位。 1951年，山东工学院正式成立，截至1959年，图书馆藏书261600册。
1983年9月19日，山东工学院更名为山东工业大学，此后学校兴建了新图书馆。
截至2000年7月，学校图书馆藏书84万册。
