吕四话，源于吴语，又与吴语不通，属于吴语太湖片毗陵小片，有自己的特色。吕四韵/金沙韵/南通韵，旧南通县东西部这三个点的韵母差异反映了语音演变的历史阶段，显示出通东方言和南通方言的亲近关系。中古咸、山二摄舒声韵在通东方言和南通方言里的演变分化基本相同，音值大致相近 ，通东方言和南通方言的关系较为密切。
南通方言音系见《普通话基础方言基本词汇集》（语音卷下）第1977—2000页，通东吕四方言音系见《吕四方言记略》、《吕四方言两字组连读变调》。
旧时由于行政隶属关系，通东地区在经济和文化生活方面跟南通的关系一向比较密切。南通话作为旧时南通县的优势方言，对通东话产生过很大影响，这种影响越往西越明显。虽然南通方言属江淮方言，通东方言属吴语太湖片毗陵小片，但这两种旧时同处一个县境内的方言在长期的历史演变中，不论在语音或词汇方面，都能找到很多相似点或相同点。或者说，这两种毗连的边界方言，虽然在“帮滂*#、端透定、见溪群”是否三分对立上不同，但有很多共同点，关系似较密切。中古咸、山二摄在今吕四方言里的演变分化往往是调查研究方言的侧重点之一。
约六朝梁元帝时（公元552年），长江口出现的壶豆洲（又名胡逗洲）便有流人煮盐为业，这些流人大抵指流放犯人也有无业游民，主要来自江南常州（今常州、武进、宜兴、无锡、锡山、江阴一带），这些人基本上保留了吴越文化的特性。
隋时胡逗洲属海陵，唐玄宗时因军事上的需要，狼山成为浙江西道节度使管辖下的一个军事据点，胡逗洲成了浙江西道常州的辖地。唐末军阀割据，吴兴（今浙江湖州）人姚氏家族三代（姚存制、姚廷、姚彦洪）统治胡逗洲（其时称静海）、东布州达半个世纪之久，其军队和家属有万人之多，多为吴兴人，其时南方文化占了统治地位。
后周显德三年（公元956年），周师克淮南，取南唐长江以北地区，升静海都镇为静海军，属扬州，不久改为通州，设静海、海门二县，由于静海岛与大陆涨接并改属海陵郡管辖，静海人与如皋等地的居民交往日渐频繁，同时又有大量的海陵人来往于两地之间或定居。
至元初，北方又有犯人流放到通州，南方文化的影响似乎逐渐减弱。但元末张士诚起兵江南，明永乐初燕兵之乱，使大批江南居民移居如皋。鸦片战争、太平天国时期，不少江南商贾和手工业者纷纷来如皋安家落户。如皋在1724年便是通州的一个下辖县了。
由东布洲形成的海门岛，当初亦为流放犯人之地，流人亦来自常州一带，由于隔了130多年才与静海县涨接而造成的文化隔离，使海门人始终保持了吴文化的特色。至明初，一部分拥戴过张士诚的江南士民，被惩罚性地强迫迁移到吕四港一带，他们于常熟白茹港集结，渡江来到吕四，这就是民间所说的“白茹抽丁”。他们同样保留了江南文化的风土人情，南方文化的影响几乎一直延续着。
