西汉时，分长沙郡南部，置桂阳、零陵二郡，祁阳属零陵郡泉陵侯国。东汉时，除泉陵侯国为县，祁阳属泉陵县隶属未变。（县史志办）
三国东吴孙亮太平二年（257年），分泉陵县，置祁阳县和永昌县，仍属零陵郡。
西晋怀帝永嘉元年（307年）由荆州改属湘州零陵郡。南北朝的宋、齐、梁、陈，祁阳的隶属关系未有重大改变。
隋开皇九年（589年），祁阳、永昌并入零陵县，隶属湘州永州总管府，隋炀帝大业三年（607年）改湘州永州总管府为零陵郡，祁阳属零陵郡。
唐武德四年（621年），析零陵县复置祁阳县，并将永昌县并入祁阳，将县治由金兰桥（今祁东）迁至老山湾（今茅竹镇老山湾村）。唐贞观元年（627年），撤祁阳县并入零陵县。唐贞观四年（630年），祁阳县被恢复，隶属江南西道永州。
五代时，隶属江南西道永州零陵郡。
宋朝时，祁阳隶属荆湖南路永州零陵郡。元朝属湖南道宣慰司永州路。明朝隶属湖广承宣布政使司永州府。
明景泰三年（1452年）迁县治于檀山湾（今址）。
清朝隶属湖南省衡永郴桂道永州府。
民国三年（1914年），改衡永郴桂道为衡阳道，祁阳隶属衡阳道。
民国九年，衡阳道被撤销，祁阳直属省辖。
民国二十六年十二月，设立行政督察区，祁阳属湖南省第九行政督察专员公署。
民国二十九年四月，改九个行政督察专员公署为10个，祁阳属第七行政督察专员公署。
中华人民共和国成立后，改第七行政督察专员公署为永州专区专员公署，永州专区与零陵专区名称并存，祁阳县隶属永州专区专员公署。
1950年5月，永州专区名称停止使用，统称零陵专区。
1952年11月，改隶湘南行政公署。
1954年7月，改属衡阳地区专员公署。
1983年7月，重新隶属零陵地区专员公署。
1995年11月，撤零陵地区专员公署设立永州市，祁阳县隶属永州市。
1987年末，全县共设11个区，1个区级镇；54个乡，12个乡级镇，辖916个村民委员会，37个居民委员会，8815个村民小组，216个居民小组。
1995年5月，祁阳县辖21镇6乡（含金洞管理区的1镇6乡）。
2008年6月，设内下乡。2010年12月，撤浯溪镇设龙山、浯溪、长虹街道。2011年10月，撤金洞管理区万宝山工区成立万宝山乡人民政府。
