1901年（光绪二十七年）2月，沙俄修筑中东铁路，建牡丹江站。1903年（光绪二十九年）7月，铁路全线通车后，沙俄将铁路沿线两侧，划为其附属地。附属地的行政权、司法权、设警权、驻军权以及森林、矿产、土地的开发、经营管理权，均被沙俄中东铁路局（亦称俄国铁路公司）攫取。车站周围设立居民组织自治会，具体掌管工交、财经、民政、文教卫生等事宜。
1907年（光绪三十三年），清政府将东三省将军制改为行省制，撤销宁古塔副都统，宁安府划归绥芬厅管辖。1910年改绥芬厅为宁安府，归吉林行省管辖，牡丹江境域属宁安府管辖。
民国初年沿袭清制，牡丹江地域仍归吉林省宁安府（后称县公署、县政府）管辖，今市郊乜河，属宁安县第五行政区团聚乡所在地，为当时境内的政治、经济、文化中心。
1917年俄国“十月革命”爆发后，牡丹江站两侧归哈尔滨中东铁路公司督办公署辖属。
1920—1930年，中东铁路哈尔滨地亩管理局在牡丹江站周围地段发放过三次街基号，街路地段不断扩大，人口继续增加，店铺作坊日益兴起，逐步形成集镇。宁安县第五区的政治、经济活动中心很快从乜河转移到火车站周围。
1932年5月日本侵略军占领牡丹江站及乜河、铁岭河、卡路、海浪、南岭（今胜利村）等地。1933年7月，将东省特别区改为北满特别区（1936年1月撤销）；将中东铁路改为北满铁路。1934年10月，将宁安等县划为新成立的滨江省管辖。今牡丹江市大部分境域仍属宁安县五区。1935年，伪满洲国当局成立滨江省牡丹江办事处。1936年12月图们至佳木斯铁路全线通车后，牡丹江新站（即今火车站，原称宁北站），成为贯穿东西南北的交通枢纽。1937年7月1日，成立伪牡丹江省公署，辖宁安、穆棱、东宁、密山、虎林5县。在伪省公署内设立牡丹江市政筹备处（即市正式建置的前身）。同年12月1日，正式成立伪牡丹江市公署。时牡丹江省共辖5县1市，省会设在牡丹江市。
1943年10月1 日，日本侵略者为使国境地带的军事管辖区域和行政管辖区域一致起来，以加强其“国防要塞”和行政机构，设立东满总省，辖牡丹江省、东安省和间岛省（今吉林省延边地区），共3市16县。总省省会设在牡丹江市。
1945年5 月28日，撤销东满总省，划出间岛省；将原牡丹江省和原东安省合并，设立东满省，辖2市11县，省会仍设在牡丹江市。当年8月14日日本侵略者败退，伪东满省公署和牡丹江市公署同时解体。
1945年8月18日，在苏联红军驻军帮助下，成立牡丹江市地方治安维持会。同年8月下旬，受东北党委员会派遣的金光侠、陶雨峰、乔书贵等抗联干部，随同苏联红军进入牡丹江市，于当月25日成立中共牡丹江市委员会，隶属中共牡丹江地区委员会领导。10月14日，牡丹江军区司令员李荆璞接收牡丹江市地方治安维持会，建立在中共领导下的牡丹江市民主政府。
1946年4月8日至10日，绥宁省首届临时参议会在本市召开，成立绥宁省政府。牡丹江市划属绥宁省领导。
1946年10月7 日，绥宁省撤销，成立东北政联直属牡丹江行政督察专员公署后，牡丹江市隶属牡丹江专员公署领导。
1947年8 月20日，牡丹江专区与东安专区合并，成立牡丹江省，牡丹江市隶属牡丹江省领导。
1948年7月9日，撤销牡丹江省建制，并入松江省，牡丹江市为松江省直辖市。
1949年5月27日，牡丹江市政府改称市人民政府。
1954年6 月19日，松江省建制撤销，与黑龙江省合并。统称黑龙江省，牡丹江市划为黑龙江省直辖市。 1955年3月24日，牡丹江市人民政府改称牡丹江市人民委员会。
1958年6月18日，牡丹江市划归牡丹江专员公署领导，变为地辖市。
1960年4月5日，宁安县由牡丹江专员公署管辖改为牡丹江市管辖。1962年9 月22日，又将宁安县划回牡丹江专员公署。
1966年2月8日，牡丹江市由地辖市又改为黑龙江省直辖市。
1966年5月16日，“文化大革命”开始，牡丹江市人民委员会受冲击。1967年1月，市人委被“造反派”接管。
1967年3 月30日，撤销牡丹江专员公署，成立牡丹江地区革命委员会（以下简称地革委），牡丹江市隶属牡丹江地革委领导。
1967年4月8日。撤销牡丹江市人民委员会，成立牡丹江市革命委员会（以下简称市革委）。4月19日市革委召开成立大会，并发布《第一号通告》。
1968年2月6日，根据黑龙江省革命委员会主任潘复生的指示。市革委和地革委机构合并，统称牡丹江地革委。撤销牡丹江市建制，原市辖的先锋（西安）区、东风（东安）区、爱民区和郊区直接由地革委领导。并在地革委内部设城市工作部门，具体管理协调各区工作。
1973年9月1日。牡丹江地、市革委分设，恢复牡丹江市建制，仍归牡丹江地革委领导。地革委直辖的东风区、先锋区、爱民区、阳明区（1970年10月新成立）和郊区重新划回市管辖。
1979年2月8日，牡丹江地革委改称牡丹江行政公署。牡丹江市革委仍隶属牡丹江行政公署领导。 1980年12月1日，牡丹江市革委改称牡丹江市人民政府，仍归牡丹江行政公署领导。
1983年9月29日，牡丹江地、市合并.撤销牡丹江行政公署建制。牡丹江市为省辖市，实行市管县的领导体制。除原行政公署管辖的鸡东县划归鸡西市外，牡丹江市管辖原行政公署管辖的海林、宁安、林口、穆棱、东宁、密山、虎林7县、绥芬河1市（代管）和市内的西安区、东安区、爱民区、阳明区、郊区5个区。同年10月17日，合并完成，正式办公。
1986年，设立镜泊湖市，由牡丹江市代辖。
1987年，撤销镜泊湖市。
1988年，撤销密山县，设立密山市。
1992年，撤销海林县，设立海林市。
1992年10月5日，密山市改由鸡西市代管。
1993年6月14日，国务院批准将虎林县划归鸡西市管辖。
1993年，撤销宁安县，设立宁安市。
1995年，撤销穆棱县，设立穆棱市。
1997年，撤销牡丹江市郊区。
2010年5月19日，穆棱市磨刀石镇、林口县五林镇和海林市海南朝鲜族乡划归牡丹江市，磨刀石镇、五林镇划入阳明区，海南朝鲜族乡划入西安区。
2011年，取消管辖绥芬河市，绥芬河市设为省直管辖试点。
2016年，国务院批准东宁撤县设市。 牡丹江市现辖4个市辖区、5个县级市、1个县： 市辖区：东安区、阳明区、爱民区、西安区； 县级市：绥芬河市、海林市、宁安市、穆棱市、东宁市； 县：林口县。 区划代码区划名称面积 （平方公里）政府驻地邮政编码231000牡丹江市40233东安区157000231002东安区334新安街道157000231003阳明区1338阳明街道157000231004爱民区389向阳街道157000231005西安区434先锋街道157000231024东宁市7368东宁镇157200231025林口县6694林口镇157600231081绥芬河市427绥芬河镇157300231083海林市9768海林镇157100231084宁安市7870宁安镇157400231085穆棱市5611八面通镇157500
东安区面积566平方千米，人口19万人。辖5个街道：新安街道、长安街道、七星街道、五星街道、兴隆街道。区政府驻新安街道。
阳明区面积358平方千米，人口23万人。辖4个街道、4个镇：阳明街道、前进街道、新兴街道、桦林橡胶厂街道、铁岭镇、桦林镇、磨刀石镇、五林镇。区政府驻阳明街道。
爱民区面积359平方千米，人口23万人。辖7个（一说8个）街道、1个乡：向阳街道、黄花街道、铁北街道、新华街道、大庆街道、兴平街道、北山街道、北安乡（北安街道）。区政府驻向阳街道。
西安区面积430平方千米，人口24万人。辖6个街道、1个镇、1个民族乡：先锋街道、火炬街道、立新街道、牡丹街道、江滨街道、沿江街道、温春镇、海南朝鲜族乡（一说有7个街道，另一个是水泥街道）。区政府驻先锋街道。
林口县面积7191平方千米，人口38万人。辖9个镇、2个乡：林口镇、古城镇、刁翎镇、朱家镇、柳树镇、三道通镇、龙爪镇、莲花镇、青山镇、奎山乡、建堂乡。县政府驻林口镇。
东宁市面积7368平方千米，人口21万人。辖6个镇：东宁镇、三岔口镇、大肚川镇、老黑山镇、道河镇、绥阳镇。绥阳林业局在境内。市政府驻东宁镇。
绥芬河市面积427平方千米，人口7万人。辖2个镇：绥芬河镇、阜宁镇。市政府驻绥芬河镇长江路1号。
海林市面积9772平方千米，人口41万人。辖8个镇：海林镇、长汀镇、横道镇、山市镇、柴河镇、二道镇、新安朝鲜族镇、三道镇。市政府驻海林镇。
宁安市总面积7870平方千米，人口44万人。辖7个镇、5个乡（其中3个民族乡）：宁安镇、东京城镇、渤海镇、石岩镇、沙兰镇、海浪镇、兰岗镇、江南朝鲜族满族乡、卧龙朝鲜族乡、马河乡、镜泊乡、三陵乡。市政府驻宁安镇。
穆棱市面积6094平方千米，人口33万人。辖6个镇、2个乡：八面通镇、穆棱镇、下城子镇、马桥河镇、兴源镇、河西镇、福录乡、共和乡。市政府驻八面通镇。
