牌楼昔日曾是北京城里街道上的重要建筑物，它装点并衬托着市容的美，清末，跨于街道上的木牌楼，计有前门外五牌楼、东交民巷牌楼、西交民巷牌楼、东公安街牌楼、司法部街牌楼、东长安街牌楼、西长安街牌楼、东单牌楼、西单牌楼、东四牌楼（4 座）、西四牌楼（4 应）、帝王庙牌楼（2 座）、大高玄殿牌楼{2座）、北海桥牌楼（2 座）、成贤街牌楼( 2 座）、国子监牌楼（2 座）。临街的牌楼有两座，一座大高玄殿对面的牌楼，二是鼓楼前火神庙牌楼。民国时期拆除了东单牌楼和西单牌楼，并将部分牌楼改建为混凝士结构。
1952 年5 月，北京市开始酝酿拆除牌楼，此问题由公安局交通管理处首光提出。他们认为，大街上的牌楼附近交通事故频繁，牌楼影响交通是导致交通是导致交通事故的主要原因，建议建设局养路工程事务所拆除牌楼。 北京市副市长吴晗担起了解释拆除工作的任务。梁思成与吴晗发生了激烈的争论。梁思成认为，城门和牌楼、牌坊构成了北京城古老的街道的独特景观，城门是主要街道的对紧景，重重牌坊、牌楼把单调笔直的街道变成了有序的、丰富的空间，这与西方都市街道中雕塑、凯旋门和方尖碑等有着同样的效果，是街市中美丽的点缀与标志物，可以用建设交通环岛等方式合理规划，加以保留。据吴良镛回忆，梁思成一次当着吴晗和市政府秘书长薛子正的面，对周恩来说：“我对这两位领导有意见，他们不重视城楼的保护。”
梁先生为了旧都多保留一些有价值的牌坊、琉璃宫门等古建筑，在扩大的国务院办公会议上和自称“改革派”的吴晗同志争得面红耳赤，记得有一次，吴晗同志竟站起来说：“您是老保守．将来北京城到处建起高楼大厦，您这些牌坊、宫门在高楼包围下岂不都成了鸡笼、鸟舍，有什么文物鉴赏价值可言！’气得梁先生当场痛哭失声。1953 年8 月20 日．吴晗主持会议，讨论北京文物建筑保护问题。薛子正、梁思成、华南上、郑振铎、林徽因、罗哲文、叶恭绰、朱兆雪等出席。，
郑振铎说：“如有要拆除的最好事先和社会文化事业管理局联系，由中央决定，不应采取粗暴的态度。”
林徽因提出，“保护文物和新建筑是统一的。保护旧的是为新建筑保存优良的传统”, “北京的9 个城门是对称的，如一旦破坏，便不是本来的基础了。再如天坛只保存祈年殿其他都拆掉也不是保存文物的办法”。她认为居民建筑的保存也是重要的方面：“艺术从来有两个传统，一个是宫殿艺术，一个是民间艺术，后者包括一些住宅和店面，有些手法非常好，如何保存这些是非常重要的。”
梁思成在发言中指出，“北京市的发展是要在历史形成的基础上发展，一定要保存历史形成的美丽城市的风格。有些单位（如公安、交通、经济部门）考虑得片面”,“在保护古文物建筑工作上，首都应起示范作用，慎重是必要的。”
他搬出了苏联经验，提出“在莫斯科建设中，占建筑在原则上尽量保存下来”。他还以“土地私有”讥讽破坏文物建筑的行径：“北京各机关好像有‘土地私有’的观念，在他们自己的范围内爱拆爱建，一点不考虑整休。”
可是，吴晗作答：“在处理中应尊重专家的意见，但专家不能以为自己的意见必须实现。”会后，对牌楼做出了保、迁、拆三种处理方式，即在公园、坛庙之内的可以保下来；大街上的除了成贤街和国子监的4 座外，全部迁移或拆除。五牌楼在这样的历史背景下， 1955 年因为妨碍交通终被拆除。
五牌楼2008 年将重新回到老百姓的视野．但是这毕竟是一个遗憾当年林徽因骂吴晗：“以后你们重建的充其量也是个假古董！”这对梁思成或者对林徽因来说，不得不说是一个遗憾，也让人们对文物保护的问题深思。
