春秋至战国前期，相继为林胡、楼烦所踞。战国后期为赵云中郡九原邑西北境。秦统一后，属九原郡。
西汉北逐匈奴后，于元朔二年（公元前127年）改九原郡为五原郡，今青山区隶属之。
东汉后期和三国时期，沿边郡县多废徙，此地为南匈奴游牧之地。魏晋南北朝前期次第为代、前秦辖地。北魏时为怀朔镇南部地。
隋代属胜州榆林县。唐代属中受降城。辽、金、元时属云内州。明代中后期为蒙古土默特部游牧地。
清时实行蒙汉分治，今青山区蒙古族归乌拉特三公旗管辖，汉族先后归萨拉齐厅、五原厅管辖。
民国时蒙古族仍属乌拉特三公旗管辖，汉族归包头设置局、包头县管辖。
中华人民共和国成立后，废除蒙汉分治，青山地区先后隶属包头县、包头市郊区管辖。
1956年，经国务院批准，正式设置青山区。
1960年3月至1963年4月，经自治区人民委员会批准，包头市撤销郊区建制，将原郊区麻池(镇)公社，共青农场和青年农场划归青山区，包括57个自然村，所辖面积为350平方公里.
1963年恢复郊区建制，又将新城乡、兴胜镇、青年农场划归包头市郊区人民委员
会。
1980年10月，根据市人民政府常务会议纪要（第41号）文件精神，乌素图街道办事处划归青山区革委会管辖。
1991年9月，包头市行政区划界线领导小组重新划定了昆区和青山区民族东路的界线。
1999年2月上级将原九原区管辖的昌福村、武银福村、南壕村和赵家营村划归青山区管理并成立青福镇。
2001年为推动稀土高新区经济发展，上级又将青福镇从青山区划由稀土高新区托管。
2003年底，青福镇和所属的昌福村、赵家营村又划归青山区管理。
2008年通过实施行政区划调整，将兴胜镇划归青山区，共划归19个行政村，土地面积229.3平方公里。
