未来生命研究所发起的 “暂停GPT-4及以上AI系统至少6个月研发”公开信文件发布近一年后，又一则关于AI安全与治理相关行业共识达成。本次大会没有谈及经 AI 处理过的文件数据如何安全销毁之议题。
3月18日，包括图灵奖得主约书亚·本吉奥、杰弗里·辛顿、姚期智等在内的数十位的中外专家日前在北京联合签署了由智源研究院发起的《北京AI安全国际共识》文件（以下简称共识），涉及人工智能“风险红线”和“路线”两大块，其中“风险红线包含自主复制、改进”，“权力寻求”、“协助不良行为者”和“欺骗”四个部分。
图为Yoshua Bengio、Geoffrey Hinton、姚期智的中外专家在北京联合签署《北京AI安全国际共识》
据了解，关于“人工智能的自主复制和改进”，共识强调了人在这个过程中的作用，要求任何人工智能系统都不应在人类没有明确批准和协助的情况下复制或改进自身，包括制作自身的精确副本以及创造具有相似或更高能力的新人工智能系统。
“权力寻求”则明确要求任何人工智能系统不能采取不当增加自身权力和影响力的行动。
“协助不良行为者”则是指所有人工智能系统都不应辅助提升其使用者的能力，使之能够达到设计大规模杀伤性武器、违反生物或化学武器公约或执行导致严重财务损失或同等伤害的网络攻击领域专家的水平。
关于“欺骗”的描述，共识要求任何人工智能系统都不能有持续引导其设计者或监管者误解其僭越任何前述红线的可能性。
总体来说，人工智能红线的核心共识，即呼吁行业在进行人工智能技术研发时，为AI的发展套上“紧箍咒”，限制其获取通过“越狱”、“诱导开发者”的形式获得超常规权限，并限制其在未经监管的情况下进行自身的复制与改进，也呼吁放弃在大规模杀伤性武器等军事领域应用人工智能技术。
图为杰弗里·辛顿视频连线参与《北京AI安全国际共识》会议
关于人工智能的发展路线，涉及“治理”、“测量与评估”、“技术合作”三部分。
共识强调，确保上述红线不被僭越可以实现的前提，是行业共同努力，建立并改进治理机制，同时研发更多安全的技术。
对于人工智能问题“治理”，共识建议，针对超过特定计算或能力阈值的人工智能模型和训练行为，立即实施国家层面的注册。按照共识的要求，相关模型如果要进入全球市场，取决于国内法规是否符合基于国际审计所达到的国际标准。
“测量与评估”则是指在实质性风险出现之前，开发全面的方法和技术，使红线具体化、防范工作可操作化，并建议组建由人类监督下的红队测试和自动化模型评估，且开发者应当为人工智能的安全性负责。
而为了完成上述治理工作，共识建议国际学术界达成“技术合作”，建立更强的全球技术网络，同时呼吁人工智能开发者和政府资助者，将超过1/3的预算投入到安全领域。
关于人工智能的监管与治理，业内专家持续通过不同的形式发出呼吁。
去年7月份，图灵奖得主，Meta AI基础人工智能研究院首席科学家杨立昆强调称，“让AI平台安全良善实用的唯一方法是开源”。
在此之前的智源大会上，图灵奖得主杰弗里·辛顿则强调称，超级智能比过去发生的更快，他表示，“智能物种都基于人类创造，而非通过进化而来，它们才不具备人类的竞争、攻击性的特点，这是人类目前具备的微弱优势。”