日本海军在幕府或更早的时期就有了，但那只是各诸侯的私家军队，不能称之为真正意义上的海军，只能算是一个雏形罢了。真正的海军建军思想应该说是起源于幕末的开放海防论。这一理论的先驱者是林子平（1738－1793）。他在《海国兵谈》一书中说到：“何谓海国？海国是无邻国接壤，四面环海之国。因此，海国须拥有与其相称的武备，不同于中国兵法和日本自古流传下来的各种军事学说和思想。不懂得这一点，就难以建立日本的国防。应要知道海国既有易遭外敌入侵的弱点，也有易御敌于国门之外的优势……为防御外敌入侵，就要靠水战，而其关键就是大炮。抓住这两点，就抓住了日本国防之关键……。”这个思想可以说是现在通用的海防的基本理论。但当时的幕府却将其视为蛊惑人心的异端邪说而加以禁锢。
18世纪末19世纪初，俄国不断派出使节要求通商，最后甚至派军舰到了国后岛附近，舰长等还登上了该岛。不久还发生了英舰费顿（pheaton）号为了追逐荷船，开进了长崎港，佐贺藩亦未加制止。此事使幕府恐慌不已，先撤了长崎奉行松平康英，后于1825年发布了驱逐外国船只的命令，继续坚持锁国海防政策，具体行动是加紧海岸要塞和修筑炮台。而直到1840年的鸦片战争，才使得幕府终于懂得了锁国海防的局限性，认识到欧美列强的势力总有一天会达到日本。结果导致攘夷论后退，两年后，幕府取消了驱赶外国船只得命令。然而最终使日本开国的还是美国。
为了得到发展北太平洋的捕鲸业的船港，培利（perry）舰队开入了浦贺，要求日本开放。其实事先荷兰政府已将此传闻告知幕府，劝其开国，但幕府一直半信半疑。一年后再度到来的培利舰队，最终迫使幕府订约，英，俄，荷，法亦接踵而至，历时200余年的锁国状态终被打破，这样锁国的海防也宣告结束。
开放后的海防，必须以应付林子平所说的水战的海军为主体。当然，锁国时的幕府也并不是没有海军的，只是其本质不能相容。比如1838年，水户藩所造的军舰“日立丸”号，只因规模稍大，不合锁国政策要求而不许使用。现在的幕府已决定了开放，发展海军立刻被放到了首要位置。1853年9月，幕府撤销了1635年颁布的禁造大型船舶的命令，为组建和振兴海军迈出了第一步。
这时，九州南端的萨摩藩已经招募人才，在着手进行重振萨摩海军的计划。这大概也是萨藩的地理位置所决定的吧。幕府也雇用了军事家高岛秋帆（1795－1866）和江川太郎左卫门等主持洋炮的制造和人员的培训，同时采用了佐久间象山提出的“海防八策”等主张。基本准备就绪，下一步就是军舰的问题了。
1853年10月即决定向荷兰购买军舰。然而此时克里米亚战争正酣，荷兰政府没有马上答应日本的要求。1854年8月，荷兰东洋舰队所属的蒸汽机船“森宾”号被派遣到长崎来，舰长费比尤斯中校受幕府之聘，停泊三个月，以此船为主要教材对幕府选拔出来的直属武士的子弟讲授海军的基础知识。日本海军正式开始发展了。
1856年，荷兰政府接受了日本两艘炮舰“咸临丸”号和“朝阳丸”号订货，同时又以荷王威廉三世的名义将“森宾”号赠与幕府，改名为“观光丸”号，成为日本近代海军的第一舰。
幕府也借此机会开办长崎海军传习所，将“观光丸”作为练习之用，聘请该船的荷兰上尉佩尔斯林肯等21人担任教官，日方命永井尚志为传习所总监，胜麟太郎（海舟）等为助理。传习生总共百数十人，均是从各藩选拔出来，包括70名幕臣。
1857年，幕府在筑地开办军舰讲授所，长崎传习所的毕业生们大都转到此处继续深造，不久又改名为海军操练所。他们曾把“观光丸”安全的开到横滨，以示长崎讲习所的学习成绩。9月，向荷兰定购的“咸临丸”抵达长崎，第二年“朝阳丸”号亦到达，两舰均作为练习舰。由于荷兰顾虑当时的国际形势，停止向日本派遣教官，长崎讲习所便于1859年关闭了。
此前的1854年5月，幕府在浦贺新建造了一艘双桅的欧式帆船“凤凰丸”号。与此同时，萨摩藩也建造了一艘3桅帆单舰“昌平丸”。而幕府依靠本国力量所建造的第一艘蒸汽船是“千代田”型军舰。
虽然幕府做了最大的努力，但是舰只还是主要靠从外国购买，除向荷兰定购外，向美国定购了“富士山”号，向俄国定购了“回天”号，向法国定购了“甲铁”号（后改名叫“东”号）等。其中向荷兰定购的“开阳丸”号，战斗力最强，是幕府海军的旗舰。
1860年，日本代表团乘坐“咸临丸”从浦贺出发，访问了旧金山。舰长胜海舟出色的完成了任务。1863年，为了加强大坂湾的海防，幕府在兵库小野浜开办了海军讲习所，命胜海舟为传习指导。但因为传习生中有坂本龙马等当时杰出的天下名流，不久便引起了幕府的疑虑，一年后就将其关闭了。
参考资料：中国论文下载中心