绥芬河市原来是高句丽的领土，唐朝时高句丽被唐所灭，但后来又归于渤海国，属于率滨府华洲。
金代属上京路恤品路、元朝属辽阳中书省开元路万户府。明朝时属奴尔干都指挥使司率滨江卫，清朝属吉林省宁古塔付都统辖区。
1860年，清朝与沙俄签订《北京条约》 ，绥芬河一带的地域成为了与俄国接壤的边境。1897年，俄国修筑的东清铁路开通，绥芬河一带的地域成为了铁路的附属地，归由被沙俄操控的哈尔滨铁路管理局所管理。
1921年，中华民国收回中东铁路的附属地的行政权，使绥芬河流域从新回到中国的控制。
1926年，设置绥芬河市。从铁路开通之后，绥芬河地域成为了对俄贸的基地，促进了当地的经济繁荣。
满洲国成立，绥芬河被纳入北满特别区。
1945年被解放，改编成为绥阳县。
1948年，绥阳县被编入东宁县。直至1968年成立绥芬河区，隶属牡丹江地区。
1975年被国务院批准为省辖计划单列市。
1988年被省委、省政府批准为通贸兴边试验区。
1992年被国务院批准为首批沿边开放城市。
1999年6月经中俄两国政府批准成立中俄绥——波互市贸易区。
