1896年，第一届奥运会召开前，国际奥委会曾通过法国驻华使馆向清政府发出邀请。但当时的清政府正处于内忧外患之中，对体育事业毫不关心，所以没有应邀参加。1922年，国际奥委会选举我国王正廷为国际奥委会委员。1924年，中国第一个全国性体育组织--中华全国体育协进会成立。同年派出三名网球运动员，在法国巴黎举行的第8届奥运会上作了表演赛（奥运会无正式网球赛）。4年后，中国又派宋如海观光了在荷兰阿姆斯特丹举行的第9届奥运会。1931年，国际奥委会承认中华全国体育协进会。此后，中国正式参加了第10、11、14届奥运会，但均未能取得任何成绩。在此期间，国际奥委会于1939年、1947年选出了我国孔祥熙、董守义为国际奥委会委员。
1949年，新中国成立后，原中华全国体育协进会改组为中华全国体育总会（中国奥林匹克委员会）。1952年第15届奥运会时，由于国际奥委会某些人在中国席位问题上有意制造事端，致使我迟至7月才接到国际奥委会的邀请。待我国派出的由足、篮球队与游泳选手组成的40人代表团，到达赫尔辛基时，比赛已近尾声，仅吴传玉一人参加了仰泳比赛。但是，国际奥委会一直拖延解决我中华全国体育总会在该会的合法席位问题，直到1954年在雅典召开的国际奥委会第49届会议上才得到确认。1956年，国际奥委会在某些人操纵下，仍蓄意制造“两个中国”。1956年11月6日，中华全国体育总会发表声明，宣布不参加第16届奥运会，以示抗议。1958年，我国中断了与奥委会的一切联系。
1979年11月26日，国际奥委会在洛桑宣布，经过国际奥委会全体委员通讯表决，以62票赞成，17票反对，通过了国际奥委会执委会前此于1979年10月在名古屋作出的承认中国奥委会为全国性奥委会的决定。中国体育代表团参加大会时，使用中华人民共和国国歌和国旗。同时，为了照顾台湾的现实情况，仍将台北的奥委会作为中国的一个地方机构，以“中国台北奥委会”。名称保留在国际奥委会内，但必须使用有别于迄今使用的歌曲、旗帜和会徵。至此，国际奥委会同我国的关系，才得到了解决。
1980年，新中国第一次派队出席了在美国普莱西德湖举行的第13届冬季奥运会。男女运动员共28人，参加了滑冰、滑雪和现代冬季两项等18个单项的比赛。但与世界先进水平差距较大，无一人进入各项前十名。我国未参加同年在莫斯科召开的夏季奥运会。1981年10月，国际奥委会第84次会议选出了我国何振梁为国际奥委会委员。
中国于1984年重返奥运会，并实现了中国在奥运会历史上金牌零的突破。至1996年，中国共在奥运会上夺得52枚金牌。中国在奥运会上的传统强项为男子体操、跳水、乒乓球、女子竞走、射击、女子游泳等。
1984年，在美国洛杉矶举行的第23届奥运会上，中国运动员许海峰为中国夺得男子手枪速射金牌，实现了中国在奥运史上金牌零的突破。在这届奥运会上，中国队共夺得15枚金牌，列金牌总数第4。
1988年，在韩国汉城举行的第24届奥运会上，中国运动员共夺得5枚金牌。1992年，在西班牙巴塞罗那举行的第25届奥运会上，中国运动员共夺得16枚金牌，列金牌总数第4。1996年，在美国亚特兰大举行第26届奥运会上，中国运动员共夺得16枚金牌列金牌榜第四名。还夺得银牌22枚，铜牌12枚，奖牌总数50枚。
中国作为世界大国，自现代奥林匹克运动诞生之日起，就与她结下了难以割舍的不解之缘。1894年国际奥委会在筹备第一届奥运会之际，就向当时中国的清王朝发出了邀请，但没有得到答复。1904年以后，奥林匹克运动逐渐为一些有识之士所关注，国内的一些报刊杂志开始对其进行报道，奥运精神得以在华夏大地上传播。1913年中国政府参与发起了奥林匹克运动在亚洲的先驱——远东运动会（最初名为“远东奥林匹克运动会”）。1915年国际奥委会承认远东体协，并邀请中国参加下届奥运会和奥委会会议。
1922年，中国人王正延当选为国际奥委会委员。1924年第八届奥运会上，中国首次派3名运动员参加了表演赛。1928年第九届奥运会，中国派观察员宋如海对其进行了考察工作。1931年中华全国体育协进会被国际奥委会承认为“中国奥林匹克委员会”，中国正式参加奥运会的历史自此开始。1932年第十届奥运会，中国派出由刘长春等6人组成的代表团参加，刘长春在100米、200米预赛中位居小组第五、六名，未能取得决赛权，他是中国第一位参加奥运会的选手。1936年第11届奥运会，中国派出140人组成的代表团参加了篮球、足球、游泳、田径、举重、拳击、自行车等七个项目的比赛。
1948年第14届奥运会，中国派出33名男运动员参加了篮球、足球、田径、游泳和自行车等5个项目的比赛，但没有一人进入决赛。1952年第15届奥运会在芬兰的赫尔辛基举行。中国正式接受邀请较晚，只派出了40人的代表团，可当代表团到达赫尔辛基时，比赛已接近尾声，只有吴传玉参加了百米仰泳比赛。1952年到1979年间，由于政治上原因，中国没有参加期间的几届奥运会，而中国台北则派队参加。
1960年罗马奥运会上，中国台北选手杨传广夺得十项全能比赛银牌，这是中国人获得的首枚奥运会奖牌。1979年国际奥委会恢复了中国的合法席位，决定中华人民共和国奥林匹克委员会的名称为“中国奥林匹克委员会”，设在中国台湾省台北市的奥委会的名称为“中国台北奥林匹克委员会”。自此，海峡两岸的中国人都有了参加奥运会的机会。1980年和1984年中国代表团两度参加了冬季奥运会。1984年第二十三届洛杉矶奥运会，中国派出353人组成的大型代表团，其中225名运动员参加了除足球、拳击、马术以外的其余16个大项的比赛，共夺得15枚金牌，8枚银牌，9枚铜牌，名列本届奥运金牌榜第四位，实现了历史性的突破。此后的几届奥运会，中国均派出大型代表团参赛，并取得了较为优异的成绩。
1991年，中国北京向国际奥委会提出举办2000年夏季奥运会的申请，最后惜以二票之差未获成功。1999年，北京市政府再次提出承办2008年奥运会的申请，经中国奥委会同意后，由市长亲自前往国际奥委会总部递交了申请书。在2000年悉尼奥运会上，中国代表团取得了金牌榜及奖牌榜均列第三位的好成绩，标志着中国体育水平开始步入世界一流行列。2001年北京时间7月13日22:10，北京在国际奥委会第112次全会上获得第29届2008年奥运会主办权。
2008年8月8日至24日，北京成功举办第29届奥运会；时隔6年，2015年北京时间7月31日17:58，北京获得第24届2022年冬奥会主办权。
