小洋山，原名小羊山，因其岛上众多羊群而得名。早在唐代，小洋山就已有人类居住，有着悠久的历史，著名的羊山大帝殿在唐贞观四年就已经建立。在明清时期，小洋山与大洋山并肩，共同作为江浙地区的屏障和海防重地。明代嘉靖年间，官兵在此戍守，抵御倭寇的侵扰；而清朝顺治年间，郑成功和张煌言北伐清廷的途中，也曾选择小洋山作为驻扎地。乾隆和嘉庆年间，这里的水师更是频繁与闽盗蔡牵交战。
1934年，小洋山设立了小洋乡。随着历史的推进，小洋乡在1950年7月7日迎来了解放，同年11月成立了小洋乡人民政府。随后，小洋山的行政归属经历了一系列变迁，1958年改为小洋生产大队，1962年与大洋、滩浒、徐公合建洋山人民公社，划归大衢县。1964年6月，小洋山再次回归嵊泗县管辖。1966年，洋山公社被拆分，小洋山改建为人民公社。1984年，小洋乡的设置恢复，而到了2001年，小洋山与其他乡镇合并，成为了洋山镇的一部分。
据2000年的数据，当时的小洋山居民人口为1304户，共计3423人。小洋山划分为3个行政村，涵盖了6个自然村，这显示了小洋山在行政规划中所占据的重要位置和人口分布情况。
小洋山旧称羊山，与大洋山以及沈家湾岛和唐脑山等均为崎岖列岛主要岛屿，列岛由83个小岛礁组成，多裸岩秃石，因路崎岖不平，故名。或说是因岛上多羊而得名。又因岛域较小而改称小羊山，后演写为洋山、小洋山，另有三塔山和猴山等名。