衡山山脉将衡山县分成东南（前山）、西北（后山）两大部分，前山和后山不同方言。
2015年，根据衡山县乡镇区划调整方案，调整后下辖5乡7镇：东湖镇、马迹镇成建制合并设立东湖镇。白果镇、长青乡成建制合并设立白果镇。岭坡乡、望峰乡成建制合并设立岭坡乡。萱洲镇和贺家乡成建制合并设立萱洲镇。开云镇、沙泉乡成建制合并设立开云镇。
本次乡镇区划调整改革后，衡山县共撤销5个乡级建制，现辖永和、福田铺、岭坡、贯塘、江东5个乡，开云、白果、东湖、长江、店门、萱洲、新桥7个镇，总面积934平方千米，总人口44.95万人，县人民政府驻地不变（开云镇）。
