没想到却因此引来一场轩然大波，按一般惯例，协定草案应先向外交部长汇报，并经内阁全体会议讨论罢方可签字。王正廷可能是疏忽了，竟忘了这道程序。结果，外交总长顾维钧首先起来反对，他提出草案中有三大疑点：按规定应废除沙俄同中国以及其他列强签署的有关中国的一切条约，却不包括苏俄同外蒙“独立”新政府签署的条约；苏联从外蒙撤军具有条件性；俄国东正教会房地产的移交问题。顾维钧的态度得到内阁同僚的一致附和。同时，列强也千方百计想加以阻挠，因此北京政府宣布王正廷越权，提出中苏顾维钧与加拉罕之间直接进行。
苏方对此作出强烈反应。3月16日，加拉罕下最后通牒，限北京政府3日内承认草案。3天期满后，他又转达苏联政府的指示，说中苏之间的正式谈判已宣告结束，如要重开谈判，中国必须立即恢复苏联的邦交。
此时，北京政府日子相当难过，国内各社会团体纷纷通电，要求政府承认苏联，签订协定，北京学联更是以火烧赵家楼的旧事来警告顾维钧，而顾维钧家中确实有人送去过炸弹，结果误炸了管家和厨师。另一方面，国民党一大上正式确立的“联俄”方针，使北京政府有苏联会同孙中国领导的南方革命政府建交的担忧。同时国际上也出现了竞相承认苏联的热潮。这一切，使北京政府恍然觉察，与苏联恢复交行已事不宜迟。
表面上，中苏谈判象是已中断的样子，但私下的磋商却一直持续，北京政府态度明朗化以后，这种节奏进一步加快。经反复交涉，加拉罕同意中国方面提出的三项修正案。双方还约定协议草案仍保持草签时的原样，修改通过声明和交换照会进行，声明和换文。
5月31日，顾维钧与加拉罕代表中苏双方签署了《中俄解决悬案大纲协定》，协定包括正文及7个声明、1个照会，还有《暂行管理中东铁路协定》。前者规定，两国立即恢复正常的使领关系，并在1个月内举行会议，商议解决悬案的详细办法，废止帝俄与中国及第三国订立的一切有损中国主权利益的条约，包括将来或现在的条约；苏联放弃庚子赔款的俄国部分和在中国境内的一切租界、租借地，取消在华领事裁判权；中东铁路由中国赎回，在没有赎回之前，铁务业务由两国共管；苏联承认外蒙为中华民国的一部分，一旦中苏会议上商定有关问题，驻外蒙的苏军将全部撤退。后者规定：中东铁路纯系商业性持，营业事务实行两国共管，其余所有关系中国国家及地方主权之各项事务，如司法、民政、军事、警务、市政、税务、地亩（除铁路自用地外）等，均由中国政府管理，苏联政府将允诺中国将来可以赎回中东铁路，及该路所属之一切财产，并允诺将该路一切股票债票称归中国，两国政府承认对中东铁路之前途，只能中俄解决，不许第三者干涉。协议还规定：中东路设理事长，为最高决议机关，理事长为中方，副理事长为俄方，设路局局长一人由俄方担任，副局长二人，俄华各一，均由理事会委派，由各国政府核准，正副局长职权由理事会规定；路局各处正副处长由理事公委派，如处长为华人，则副副处长为俄人，反之亦然；路局各级人员按中俄两国各半任用。
张作霖在第一次直奉战争失败后曾宣布“独立”，公开宣称：自1924年5月1日起，一切北京订立关于东三省、蒙古、热河、察哈尔之条约，未得本总司令允许者，概不承认，故此为了争取东北当局对有关中东路协定的支持，苏联政府又于同年9月与东方地方当局签订了《奉俄协定》，除重复《中俄协定》之内容外苏方还作了进一步的让步，中东路无偿全部交给中国的期限从旧俄时代规定的八十年缩短为六十年，并在此期间内允许中国赎回。
《中俄协定》同《奉俄协定》具有十分重大的意义，它是继《中德协约》后中国与大国缔结的又一平等条约，推动了中国人民反帝运动的发展，并确定同年的9月3日－9日为全国的反帝国主义运动周，并发动了收回教育权和非基督教运动，而中国在这两个条约中也获得很大的利益。