中国奥林匹克委员会的历史可以追溯到1894年，当时国际奥林匹克委员会的发起人皮埃尔·德·顾拜旦男爵邀请清朝政府参与奥运会，但因清政府未能理解体育的概念，此事未能成行。
1910年，全国运动会在北京南京举行，唐绍仪、伍廷芳等人发起成立了“全国学校区分队第一次体育同盟会”，标志着我国体育团体雏形的出现。1913年，张伯苓、王正廷等人推动了第一届远东运动会（后改称远东运动会）在菲律宾马尼拉的成功举办。
1915年，王正廷担任第二届远东运动会的会长，随后的几年中，中国体育界积极筹备成立全国性体育组织。1920年，东体协被国际奥委会正式承认，成为首个与国际奥委会有联系的区域性体育组织。1922年，中华业余运动联合会（China National Amateur Athletic Federation）成立，并在1924年正式成立中华全国体育协进会，加入多项国际单项体育联合会。
1931年，中华全国体协被国际奥委会承认为中国奥委会，王正廷博士继续担任主席。1932年，中国首次派代表团参加洛杉矶奥运会，克服重重困难，开启了奥运参赛的新篇章。1938年和1939年，中国奥委会在国际奥委会会议上表达对日本侵华战争的抗议，孔祥熙当选为国际奥委会委员。
抗日战争胜利后，中国奥委会迁回南京，并试图举办奥运会。1952年，中华人民共和国成立后，中华全国体育总会提出以“中华全国体育总会”名义参加奥运会，挑战台湾奥委会的代表权。1956年，尽管海峡两岸均派团参赛，但由于名称问题，中华人民共和国代表团最终愤而退出墨尔本奥运会。
1957年，邓传楷担任中国奥委会主席，并在1958年领导中国代表团参加亚洲运动会。然而，由于对国际奥委会承认台湾的不满，中国奥委会退出了一系列国际体育组织。1960年，邓传楷虽然率团参加了冬奥会，但由于名称问题，中国运动员杨传广在罗马奥运会上以“台湾”名义参赛，赢得十项全能银牌，成为历史性的时刻。
中国奥林匹克委员会（Chinese Olympic Committee，简称中国奥委会）成立于1910年，现为中国的一个体育组织。中国奥委会首任主席王正廷，继任主席为郝更生、周至柔、邓传楷。 现在中国奥委会主席由国家体育总局主任刘鹏兼任，1979年起有钟师统、李梦华、何振梁、伍绍祖、袁伟民。中国奥委会标志为“跳动的五颗星星下的五环”。