1935年10月10日：衡阳火车站建成
衡阳火车站座落在衡阳市珠晖区，初建时的衡阳站主体站房为1栋3层楼房，面积2700平方米。有南北两场：南场铺14股道，有旅客站台；北场有6股短线，供修车、存车用，并有机务段管线、粤汉码头装卸线等，当时是粤汉线上的区段兼编组站，湘桂铁路建成后，成为通往两广、云贵和海外必经之站。
鉴于衡阳位于粤汉、湘桂两条干线衔接处，客运、货运中转量大，1950年衡阳站被列为全路主要编组站之一进行扩建，1952年建成全国第一个电气集中站。1964年修建武衡双线时，对衡阳站进行一次大的扩建。1989年新建衡阳北站编组站。
1990—1995年，按铁道部批准的设计，对衡阳站全面进行技术改造，南场专办客运，主要有客车到发线5股，货车通过线（正线）4条，客车整备、存车线10股，办理客运房屋总面积10478平方米，新建候车大楼。站坪向南扩宽，面积7800平方米。候车厅入口处，设“三品”检测仪，楼上装电视监视系统1套，设16个探头，随时在萤屏上，可观察旅客候车动态，服务设施更为现代化。1995年5月30日，衡阳火车站由一等站升为特等站。
2005年5月19日，由于铁路运输生产力布局调整，衡阳北站、衡阳西站被撤并，统一属衡阳站管理。其中衡阳站是集客货运业务于一体的综合性特等站，衡北站是特等编组站，衡西站是二等货运中间站。合并后的衡阳站现有到发线49股道，编组线22股道。主要行车设备衡阳站、耒河站、衡西站区采用的是6502电气集中联锁，衡北站区采用微机联锁和TW—2自动化驼峰设备。
1994年4月15日：首开特快旅客列车
1994年4月15日，衡阳列车段首开衡阳—广州83/84次、85/86次特别旅客快车，结束衡阳无特快列车始发的历史。
民国25年（1936），粤汉铁路全线通车，武昌—广州每周二、五开行旅客直达特快一对，按区段每日开行客车及混合列车，衡阳境内铁路始有客运业务。民国27年，武汉、广州相继陷敌，粤汉线只有株州—韶关一段通车。9月，湘桂线衡桂段建成，衡阳—桂林每日开行旅客列车及混合列车。抗日战争时期，衡阳每日向南、北、西开出客车、混合列车、军用列车，成为中国的重要交通枢纽。
1949年10月衡阳解放，境内最早通车的区段为衡阳—观音桥，每日开行客车一列，早去晚归。20世纪50年代初，由衡阳始发或经过的旅客列车有：上海—广州、武昌—广州旅客快车，武昌—衡阳、衡阳—广州、武昌—柳州、衡阳—柳州普客。武汉长江大桥建成后，途经衡阳的上行列车可直达北京，经过衡阳由衡始发的列车共计10对，其中始发3对：衡阳—南宁、衡阳—湛江直客、衡阳—郴州（三都）普客。1966年“文化大革命”开始，铁路系统受到冲击，各地学校师生开展全国性“大串连”，使整个客运受到严重干扰和破坏。
改革开放以来，特别是进入90年代，城乡往来频繁，经商、外出打工、旅游人数增多，旅客逐年增多，铁路部门陆续增加旅客列车，扩大编组，以缓解列车严重超员的局面。途经衡阳及从衡阳站始发的客车由1989年的29对增至34对及44.5对，空调车全程对号的快车由4对增至8对。1994年4月15日，由衡阳列车段担当值乘的83/84次特快旅客列车首趟由广州开往衡阳。83/84次列车运行于衡阳至广州间，全程521公里，当时的运行时间8小时24分，中间套跑85/86次于长沙至广州间。这趟列车的开行，使衡阳这个交通要塞没有始发特快列车的历史成为过去，为加快湘南的开发和发展、缓解旅客乘车难提供了方便、快捷的交通条件。
