西汉前期阜康属郁立师国境，政治上隶属匈奴，统辖于僮仆都尉。
汉明帝永平十七年（74）阜康复隶于汉，阜康的政治隶属关系很不稳定。
魏、晋之世北匈奴沿天山北麓西迁欧洲，途经阜康，后为鲜卑右部及柔然汉国（402－554）的游牧范围。太和十一年（487）以副伏罗部为核心的高车汗国脱离柔然独立，阜康属高车汗国疆域。高车汗国覆亡后，阜康又经历了柔然的短暂统治，至西魏废帝元年（552）突厥汗国建立，转归突厥。东西突厥分立以后，阜康归属西突厥汗国左厢咄陆诸部牧地。
贞观十四年（640）唐太宗创立安西都护府，阜康隶属安西都护府。
宋辽时期，属于高昌回鹘国和西辽管辖。
元代属于别失八里行尚书省管辖。
明代成为东察合台汗国游牧地。
十七世纪二、三十年代，准格尔势力日盛，创建了准格尔汗国，灭亡了东察合台汗国，阜康地区归属准格尔，为图尔古特部牧地，旧名尔然则，后称特纳格尔。
清初属于伊犁将军府统领。
乾隆四十一年十月二十日（1777年1月8日），乾隆帝批准将特纳格尔州判改为阜康县。
清光绪十年（1884），新疆省成立，阜康县隶属迪化府。
民国时期（1912-1949），阜康县隶属镇迪道。
1949年9月26日新疆和平解放。
1950年阜康县建立人民政府，隶属迪化专员公署。
1958年划归昌吉回族自治州管辖。
1992年11月3日撤县设市，定名为阜康市。
