事情还没有完。墨尔本奥运会后，董守义多次写信给新任国际奥委会主席布伦戴奇，要求解决“两个中国”的问题，均遭后者拒绝。其中布伦戴奇在1958年1月8日给董守义的复信中有一段话特别值得记录在案。布伦戴奇写道：

　　你知道，而且事实上每个人都知道，在台湾存在着一个单独的政府，这个政府在国际上是被承认的，特别是被包括绝大多数政府的联合国所承认。这样一个局面不是我们制造的。至于台湾，它过去最后是属于日本的一部分，而不是属于中国的。事实上（台湾）本地人既不是中国人也不是日本人。你们的政府没有被联合国所承认，但是由于它答应遵守奥林匹克章程规定而得到国际奥委会的承认。

　　由于布伦戴奇在国际奥委会中坚决推行“两个中国”的政策，董守义于1958年8月19日宣布退出国际奥委会。第二天，体总通过新华社发表声明，宣布同国际奥委会断绝关系。声明说：“中国人民反对制造‘两个中国’的立场是坚定不移的，中国人民绝对不允许在任何国际组织、国际会议和国际活动造成‘两个中国’的局面。”“在国际奥委会没有改正错误，没有撤消对台湾蒋介石集团的所谓‘中华全国体育协进会’的承认，没有使自己的宪章得到切实的维护以前，中国奥委会无法考虑同国际奥委会的重新合作。”

　　重返奥运的初次努力

　　同国际奥委会断绝关系以后，中国体育界一度本着独立自主的精神，发起、组织和举办了包括世界乒乓球锦标赛（当时乒乓球还不是奥运会项目），新兴力量运动会，亚非拉乒乓球友好邀请赛等大型国际体育活动，以扩大中国体育在世界上的影响，这些活动也都取得一定的成果。但是客观地讲，这些比赛的影响还不够大，与中国的国际地位和威望尚存在一定差距。中国奥委会副主席魏纪中后来说：“总的看来，当时的做法不是很成功，所以到70年代初，中国体育界就形成一种共识，即中国体育要想真正走向世界，还是要回到奥林匹克运动中。”

　　1971年10月25日，联合国通过2758号决议，恢复中国在联合国中的一切合法权利，将台湾代表驱逐出联合国及其所属机构。1972年，国际奥委会举行第73次全会上，爱尔兰人基拉宁取代布伦戴奇当选为国际奥委会主席。国际体育界也发生了很大变化，亚非国家大量加入国际体育组织。国际政治大环境和国际体育界的变化，包括国际奥委会领导层的变化，成为中国重返奥运大家庭的契机。

　　1973年1月，第二届全非运动会在尼日利亚首都拉各斯举行，国际奥委会主席基拉宁作为贵宾出席了开幕式。中华全国体育总会秘书长宋中也应邀出席。1月8日上午，在意大利奥委会主席奥奈斯蒂安排下，宋中与基拉宁进行了会晤，这是自1958年中国中断与国际奥委会的联系以来，中国官员与国际奥委会主席之间的第一次接触。

　　会晤中，基拉宁询问了中国国内开展哪些体育项目和奥运会项目，中国参加了哪些国际体育组织。当谈到中国在国际奥委会的合法权利问题时，基拉宁问宋中：“是否可以这样认为，即在开除台湾的条件下，你们愿意加入国际奥委会？”

　　宋中回答说：“我们的立场很清楚，我们不能容忍任何国际体育组织中有‘两个中国’或‘一中一台’的情况存在。”

　　1973年，邓小平复出担任国务院副总理。1974年初，小平同志指示，对国际奥委会和国际体育组织“要采取积极主动的方针”。根据这一指示，国家体委决定，加强对国际奥委会委员的个人接触，争取他们对中国立场的理解和支持。经过一段时间工作，中国体育界与日本、伊朗、突尼斯、巴基斯坦、法国、意大利、西班牙、联邦德国、罗马尼亚等国家的国际奥委会委员建立起良好关系，为中国重返奥运大家庭打下“群众基础”。

　　1974年9月，中国首次亮相亚运会，即以33枚金牌的成绩排名金牌榜第三名，令世界瞩目。国家体委领导决定趁势而上，将1975和1976两年的工作重点放在对国际奥委会开展工作方面，为中国运动员参加1976年蒙特利尔奥运会创造条件。

　　1975年4月9日，中华全国体育总会（中国奥委会）以代主席赵正洪的名义向国际奥委会递交了申请书，全文如下：

　　申请书

　　中华全国体育总会（中国奥委会）是全中国（包括台湾省）领土上管辖所有体育运动的唯一合法的全国性组织。中华全国体育总会（中国奥委会）要求国际奥委会撤消对地址在中国台湾省所谓的“中华民国奥委会”的承认，并确认中华全国体育总会（中国奥委会）是在国际奥委会和奥林匹克运动中唯一代表全中国的组织。