卫辉市，殷商时为畿内牧野地。周武王灭纣，封邶、鄘、卫三国，此地属鄘。成王平武庚叛乱后，邶、鄘并于卫，此地属卫。
春秋时期，卫遭狄侵，戴公东渡，此地更属于晋。战国时期，属魏，始有汲邑之称。秦初属河东郡东境，后属秦河内郡。
西汉高祖二年（公元前205），始置汲县，属河内郡。十一年（公元前196），封公上不害于汲，称终侯（即汲绍侯），国名汲。东汉顺帝年间（126至144），县令崔瑗筑县城于汲城村。
三国时期，属曹魏朝歌郡。西晋泰始二年（266），设汲郡，郡治汲城。辖汲县、朝歌、共县、获嘉。
北魏道武帝登国元年（386），迁郡治于枋头（今浚县枋城），孝文帝太和二年（488），郡治复迁汲县。东魏兴和二年（540）夏，西魏行台宫延和、陕州刺史宫元庆率户归属东魏，侨置义州于陈城（今城区城关），辖伍城郡、伍城县等7郡19县。北齐废义州存伍城郡。北周武帝宣政元年（578），废汲郡、伍城郡，置卫州，州治朝歌，改汲县为伍城县，属卫州，县治设陈城，原汲城县治废。
隋文帝开皇六年（586），改伍城县为汲县。炀帝大业三年（607），改卫州为汲郡，郡治卫县（今浚县卫贤），汲县属之。
唐高祖武德元年（618），设义州，州治汲县。武德四年（621）废义州，汲县改属卫州，州治卫县。贞观元年（627），州治移汲。辖汲县、卫县、共城、新乡、黎阳五县。
五代属卫州，州治汲县。
宋属卫州，州治除先后短时间迁共城和胙城外，其余时间均在汲县。
金属卫州河平军，世宗大定二十六年至二十八年（1186至1188）州治曾迁共城，金宣宗贞祐三年（1215）迁胙城。
元世祖中统二年（1260），属卫辉路总管府，路治汲县。领录事司、辉州、淇州。辖汲县、新乡、获嘉、胙城四县。
明、清属卫辉府，府治汲县。先后辖汲县、胙城、新乡、获嘉、淇县、辉县、延津、浚县、滑县、封丘、考城11县。
建国以后
1952年11月，平原省撤销，改属河南省新乡专署。
1983年9月1日，改属河南省新乡市。
1988年10月，撤销汲县，建立卫辉市，属河南省直辖，由新乡市代管。
