阜阳历史上以颍州（今阜阳市区）为中心的南部开发较早。西周以后，在今阜阳境内即建立了妫姓的胡子国，临泉境内的沈子国，颍上境内的慎等。春秋战国时，又出现了太和原墙的原阳，倪邱的新，临泉的寝等县邑。由此地域概念逐渐形成。秦代始置汝阴县，汉属汝南郡。三国魏置阴郡。北魏孝昌四年（公元532年）置颍州，隋设汝阴郡，唐设颍州，宋设顺昌府，元属汝宁府，明属凤阳府。清为颍州府。清雍正十三年，颍州更名阜阳。中华人民共和国成立后，设立阜阳地区专员公署，下辖八县一个行政办事处。
北部以亳州市为中心的区域，同样经历了氏族社会发展的历史阶段。商代为都城，“汤始居亳，从先王居”。春秋置焦邑、秦置谯县、领有今亳州境内的谯、城父，属泗水郡，汉属沛郡，东汉属沛国，三国设谯都，东晋属谯郡，北周始置亳州，隋复置谯郡，唐置谯郡，宋归淮南东路，元置归德府，明降州为县，后复升为州，清属颍州府。中华人民共和国成立后，亳州为阜阳地区下辖一个县，称亳县。一九八六年始改县为市，称亳州市，仍归属阜阳地区。
历史上颍、亳两州南北相望，随着封建政权更迭，而隶属不一，形成了两个既互相联系又相对独立的经济、政治、文化中心。明代洪武六年（公元1372年），颍、亳二州首次并为统一版图，“省谯县入亳州，寻降亳州的亳县，属颍州”。弘治九年（公元1496）亳县复升为州，与颍州为颍州府，又降亳州为亳县，正式纳入颍州管辖之内，形成了东西四百里，南北七百里的广大地域。不仅包括今阜阳市、亳州市全境，而且含今六安地区霍丘县的大部分地界。
1998年，亳州市划出为省辖市，2000年，涡阳、蒙城、利辛三县划归亳州市管辖。今天阜阳市的辖区格局为三区、四县、一市。
