衡山县的行政区划包括8个镇：开云镇、萱洲镇、店门镇、长江镇、白果镇、东湖镇、新桥镇和马迹镇。此外，还有9个乡：贺家乡、永和乡、福田铺乡、岭坡乡、望峰乡、长青乡、贯塘乡、江东乡和沙泉乡。县城内设有15个居委会和118个居民小组，以及326个村民委员会和3191个村民小组。
据数据统计，衡山县总人口为40.46万人，其中男性为20.86万人，女性为19.60万人。在人口结构上，农业人口占比较大，为35.29万人，而城镇人口则有5.18万人。在2001年的人口统计数据中，人口出生率为11‰，自然增长率为4.8‰。
值得注意的是，衡山县的民族多样性也相当丰富。除了汉族，县内还有14个少数民族，包括：苗族、土家族、侗族、壮族、瑶族、满族、回族、彝族、蒙古族、藏族、布衣族、黎族、京族、佤族等，体现了衡山县的多元文化和民族和谐共处的特色。
衡山县位于南中国交通中心、湖南省第二大城市——衡阳市中北部，湘江中游，因南岳衡山得名，为衡阳西南云大都市区组成部分。地处东经112 ° 27'-112 ° 57',北纬26 ° 58'-27 ° 28'，之间，东隔湘江与衡东县相望，南与石鼓区、珠晖区、衡南县相接，西邻南岳区，西南与衡阳县接壤，北界湘潭、湘乡，西北与双峰县毗邻，南北纵长54.5公里，东西横跨48公里，总面积934平方公里，占湖南省总面积的0.46%。