秦前,肇庆属百越地。秦始皇帝三十三年(前214),秦始皇遣任嚣、屠雎略取岭南陆梁地,置桂林郡、南海郡、象郡。秦代始置四会县,属桂林郡,辖区包括现四会、广宁、怀集等市县的全部或部分,隶南海郡 。
汉 高祖四年(前203),赵佗据岭 南立南越国,四会县为其属地。
西汉元鼎六年(公元前111年) 地域内置8县,四会县隶属南海郡;广信、谢沐、高要、封阳、端溪5县隶属苍梧郡;高凉县、临允县隶合浦郡;统属交州 。
三国 吴黄武五年(226),将县东南部(即今三水、鹤山、新会、江门、开平、台山、斗门等县市部分地区)划出置平夷县(后改为新夷县、新会郡)。
南北朝时期(公元420~479年),设置高要、广信、封兴、武化、端溪、
晋化、都城、乐城、悦城、夫阮、安遂、宾江、文招、南兴、新兴、临允、甘东、单牒、龙潭、抚纳、博林、威平、新招、化蒙、化穆、四会、怀集、化注、平兴、初宁、招兴、建宁、崇化、熙穆、崇德、谢沐、开建、永固38县,分隶南海、苍梧、晋康、新宁、绥建、宋隆(原宋熙)、临庆7郡,分属广州、湘州 。
隋开皇九年(589),废郡,撤销新招、乐成、化成3县并入四会县。大业三年(607),复置南海郡。四会县与化蒙县同属于南海郡。
唐武德五年(622),以四会、化蒙三县地置南绥州。并复置新招、化注(原称乐成)、化穆(原称化成)3县,同隶于州。龙朔元年(661),佛教禅宗六祖惠能来四会,在扶卢山(信大南山北麓)藏匿于猎人队伍15年。
北宋 熙宁六年(1073),四会割属端州(后改肇庆府)。
北宋政和元年(公元1111年),怀集县隶广州 。元至元十七年(公元1280年)改肇庆府为肇庆路,置总管府,隶广西道(二十九年改隶广东道)。至顺元年(公元1330年),高要县、四会县隶肇庆路 。
明洪武八年(1375年),在县治东建分巡岭西道行署。永乐十五年(1417年)冬,大雪。嘉靖三十八年(1559年)朝廷平大小罗山瑶民暴动后由四会析出置广宁县。
清初沿明制。肇庆府为广肇罗道治所,隶广东省。顺治六年(公元1649年)置开平县;雍正九年(公元1731年)置鹤山县,时肇庆府领德庆州及高要、四会、新兴、高明、广宁、开平、鹤山、封川、开建、阳江、阳春、恩平等12县
民国九年 是年秋,取消县以下的都、铺行政区划制,改用区、乡(镇)建制。
在1952年和1958年间,四会曾与广宁县合并过,合并后称广四县。1954年和1961年两次分设,四会县分别属粤中区行政专员公署和肇庆地区专员公署。
1993年11月25日,四会撤县设市。