桃江县的历史可以追溯到1952年，当时从益阳县分割设立，以境内著名的桃花江命名。其初期的行政区域包括益阳县的第六、七、八、九、十、十一区，得到了政务院的正式批准（1952年2月16日）。
2000年的桃江县下辖12个镇、11个乡和1个民族乡，总人口为775,444人。其中，桃花江镇的人口为86,764，修山镇33,849，三堂街镇35,040，鸬鹚渡镇35,436，大栗港镇40,841，武潭镇53,513，马迹塘镇43,564，石牛江镇33,416，牛田镇32,528，松木塘镇32,942，源嘉桥镇18,477，灰山港镇62,908，花果山乡31,136，牛潭河乡15,746，浮邱山乡24,894，高桥乡27,792，水口山乡28,223，沾溪乡25,647，乌旗山乡19,525，栗山河乡18,209，鲊埠回族乡16,786，罗家坪乡15,229，泗里河乡15,907，河溪水乡27,072。这些乡镇内分布着多种民族，包括蒙古族、回族、藏族等24个民族。
然而，2004年和2005年，桃江县的行政区划经历了一次调整。2004年，桃江县的乡镇数量保持不变。2005年，根据市政府的通知，桃江县的24个乡镇被整合为11个镇和4个乡，总数变为15个。例如，花果山乡、牛潭河乡和桃花江镇合并为新的桃花江镇，河溪水乡、源嘉桥镇和灰山港镇合并为新的灰山港镇，如此类推，每个合并后的乡镇都设有新的镇人民政府。行政区划调整后，桃花江镇和灰山港镇的人口超过10万人，各民族分布情况依然存在。
桃江县地处湖南省中部偏北、资江中下游，因境内有桃花江而得名。县境古为楚地，自秦汉起一直是益阳县的一部分，县内桃花湖1951年9月从益阳县析置。现辖15个乡镇、一个开发区、773个行政村、54个街道居委会，总人口83万，总面积2063平方公里。桃江县东与益阳市区相接，西与安化县相连、北抵汉寿县，南靠宁乡县，距益阳市中心城区24公里，距省会长沙仅98公里，区位优势十分明显。