绥化市历史悠久。大约在一万年前的旧石器时代，绥化市境内就有古人类繁衍、生息。
绥化市夏商时期为肃慎地。“肃慎者，虞夏以来东方大国也”。自虞舜至夏、商、周时，肃慎与中原华夏各族关系一直很密切。
西周至西汉时期，绥化市的庆安、绥棱、海伦、望奎、兰西等市县仍为肃慎地；西部的明水、青冈、安达，西南部的肇东等市县为氵岁貊地。
东汉至两晋属夫馀地，夫馀世居东北，是貊族的后裔。晋时全市大部分市县属夫馀的寇漫汗，其农牧经济、文化和习俗都深受中原影响。这一时期，夫馀地仍臣服于当时的中原王朝。
南北朝时期，绥化市属勿吉地。勿吉先后与南朝、北魏王朝建立了臣属朝贡关系。
宋辽金时期，绥化市先后归契丹族建立的辽、女真族建立的金管辖。
元朝时期，绥化市归元朝的开元路管辖区，这一时期农业得到了较大的发展。
明朝时期为努儿干都指挥史司所辖，主要居住着女真族和汉族、蒙古族、朝鲜族和其它少数民族。
清朝时期归镇守黑龙江将军管辖。清王朝建立之初，视东三省为“龙兴之地”，实行封禁政策，将东三省山林、土地当作皇室围场，严禁开发耕种。清咸丰十年（1860年）经黑龙江将军特普钦奏准，开始出放民荒。清光绪十一年（1885年）设绥化理事通判厅，光绪三十一年（1905年）由厅升府。光绪三十三年（1907年），在东北设东北三省总督，统辖奉天、吉林和黑龙江三省，绥化市全境归黑龙江省管辖。
民国初期，东北三省实行省、道、县三级管理制，民国二年（1913年）由府改县，绥化市大部分县属绥兰道。
民国十八年（1929年）东北政务委员会成立，废道制，县归省直接管辖。海伦、绥化为一等县，肇东、兰西、青冈、安达、望奎、庆城为二等县，绥棱、明水为三等县。
伪满时期，绥化市划归当时的滨江省管辖。后有几次变动，但全市绝大部分市县仍归滨江省管辖。
解放战争时期，庆城（庆安）、绥棱、海伦、望奎、绥化、明水和青冈、兰西、安达、肇东等县分属当时的黑龙江省和嫩江省管辖。
1949年建国前夕，全市10个市县均划归黑龙江省管辖。
建国后，绥化市分属黑龙江省和松江省。
1954年后属两省合并后的黑龙江省。
1956年3月5日，经国务院批准，设绥化地区专员公署，辖绥化、北安、海伦、德都、铁力、绥棱、庆安、呼兰、巴彦、兰西、望奎、通河、木兰13县，专员公署驻绥化县。青冈、安达、明水归嫩江专员公署管辖，肇东归省直辖。
1958年8月，国务院决定撤销绥化专员公署，成立松花江专员公署，专员公署驻哈尔滨市，辖1市13县，即：伊春市、绥化、巴彦、双城、五常、肇州、肇源、木兰、通河、望奎、兰西、绥棱、海伦、庆安县。
1963年12月，伊春市从松花江专员公署划出。
1965年6月，国务院决定重新成立松花江专员公署，原松花江公署改为绥化专员公署，绥化专员公署驻绥化县，辖肇东、肇州、肇源、安达、绥化、海伦、望奎、兰西、明水、青冈、庆安、绥棱、铁力13县。
1967年3月成立绥化地区革命委员会，1979年2月撤销，设置绥化地区行政公署，辖绥化、肇东、安达、海伦、肇州、明水、望奎、庆安、绥棱、兰西、肇源、青冈12县。经国务院批准，1982年12月，绥化县撤县设县级绥化市；1984年11月，安达县撤县设县级安达市；1986年9月，肇东县撤县设县级肇东市；1989年12月，海伦县撤县设县级海伦市。
1992年12月，肇州、肇源两县划归大庆市。
1999年12月，经国务院批准，撤绥化地区，设地级绥化市，撤县级绥化市，设县级北林区。2000年6月14日，绥化市委、市人大、市政府、市政协、市纪检委举行了撤地设市揭牌仪式。全市现辖1区、3市、6县，70个镇、90个乡、6个街道办事处。
