金代初期属东京,后划归会宁府南境,再划归率宾府。元初属南京万户府,后归合兰府硕达勒达路呼尔哈军民万户府南境。明代初期归努尔干都指挥司统辖,万历年间改为窝集部宁古塔。清顺治十年(1653年),设宁古塔昂邦章京,后改镇守宁古塔等处将军府,驻地即为现在的海林县旧街乡。宁古塔搬迁后,全境归属设在宁古塔新城(今宁安)的军政机构管辖,直至清朝灭亡。
民国初期和东北沦陷时期,全境隶属宁安县。
1945年8月解放。
1946年9月,成立新海县。
1948年,新海县与五林县合并成立海林县。
1956年3月,撤销海林县建制,辖境分别划属宁安、林口县和牡丹江市郊区。
1962年10月,恢复海林县,隶属牡丹江专员公署。
1983年10月,划为牡丹江市辖县。