1992年设市。
西汉时为卑陆和郁立师国地，东汉属车师后部。北魏属柔然，北周和隋朝属突厥。唐属庭州金满县，《西域地名》考证为唐北庭大都护府之俱六城守捉。元属别失八里，明为瓦剌游牧地，称敦刺城或特纳格尔。清乾隆二十五年（1760年）设阜康堡，驻巡检，二十八年（1763年）筑阜康城，隶安西道。乾隆四十一年（1776年）设阜康县，隶迪化直隶州。1886年隶迪化府，1943年隶迪化专区，1958年隶属昌吉回族自治州。
1992年11月3日民政部（民行批[1992]130号）批复同意撤销阜康县，设立阜康市（县级），以原阜康县的行政区域为阜康市的行政区域。
