唐代，绥芬河地区隶属渤海国率宾府华州。到明代隶属奴尔干都指挥使司率宾江卫。
1860年，《中俄北京条约》的签订，使绥芬河地区成为边界地区。
1897年，中东铁路开工，绥芬河地区一部分划为铁路附属地，由中东铁路当局执掌大权。另一部分于1903年隶属绥芬河厅。
1913年设东宁县治后，隶属东宁县。
1921年，东北当局收回中东铁路附属地行政权，原铁路附属地划归东省特别区，属第三区。
1926年正式设绥芬河市。
1945年绥芬河地区解放后，隶属绥阳县。
1948年又隶属东宁县，直至1968年成立绥芬河区，隶属牡丹江地区。
1975年被国务院批准为省辖计划单列市。
1988年被省委、省政府批准为通贸兴边试验区。
1992年被国务院批准为首批沿边开放城市。
1997年中俄两国外交换文批准，设立中俄绥—波互市贸易区。绥芬河市辖2个镇和互市贸易区和边境经济合作区。
1999年6月经中俄两国政府批准成立中俄“绥—波”互市贸易区（中国绥芬河——俄罗斯波格拉尼奇内互市贸易区）。
2007年4月8日召开的中国木业行业年会暨第三届中国（莆田）木业投资贸易洽谈会上，绥芬河市被国家木材流通协会授予“中国木业之都”荣誉称号。
2011年6月，绥芬河被赋予黑龙江省辖市政府的经济社会管理权限。
列为黑龙江省“省直管”试点市。
