诺贝尔奖获奖者在AI上呼吁约束国际“红线”

周一早上，有200多名著名的政客和科学家，包括10名诺贝尔奖获得者和许多领先的人工智能研究人员，他们在周一早上发布了一项与危险AI使用的紧急措施。

该声明警告说，AI的“当前轨迹提出了前所未有的危险”，称全球呼吁AI红线呼吁，他认为“必须就明确且可验证的红线达成国际协议”。鉴于AI能力的快速进步，公开的字母敦促决策者在2026年底之前制定这一协议。

诺贝尔和平奖获得者玛丽亚·雷萨（Maria Ressa）在周一上午在联合国大会的高级一周举行的开幕词中宣布了这封信。她恳请政府聚集在一起，以“防止AI的普遍不可接受的风险”，并“定义永远不允许AI做什么”。

除了获得化学，经济学，和平与物理学的诺贝尔奖获得者外，签署国还包括著名的作家，例如斯蒂芬·弗莱（Stephen Fry）和尤瓦尔·诺亚·哈拉里（Yuval Noah Harari）以及前国家元首，包括爱尔兰的前总统玛丽·罗宾逊（Mary Robinson）和前哥伦比亚前总统胡安·曼努埃尔·桑托斯（Juan Manuel Santos），他们在2016年获得了诺贝尔和平奖。

著名的图灵奖的获得者，三个所谓的“ AI教父”中的两个获得了公开信。图灵奖通常被视为计算机科学领域的诺贝尔奖。 Hinton两年前在Google上留下了著名的职位，以提高人们对未经检查AI开发的危险的认识。

签署人来自包括美国和中国等人工智能领导人在内的数十个国家。

哈拉里说：“数千年来，人类已经了解到，有时是艰难的方法，强大的技术可能会带来危险和有益的后果。” “人类必须在技术重塑我们的理解之外的社会并破坏我们人类的基础之外的社会之前就AI的透明红线达成共识。”

公开字母是随着人工智能吸引日益严格的审查。在过去的一周中，AI在大规模监视，所谓的少年自杀中的作用以及传播错误信息甚至破坏我们共同的现实感的能力而成为全国头条新闻。

但是，这封信警告说，今天的AI风险很快就会被更具毁灭性和更大规模的影响所掩盖。例如，这封信引用了专家的最新主张，即AI可能很快就会导致大规模失业，工程大流行和系统性的人权违规行为。

这封信不再提供具体建议，称政府官员和科学家必须谈判在红线下降以获得国际共识。但是，这封信为某些限制提供了建议，例如禁止致命的自动武器，对AI系统的自主复制以及在核战争中使用AI。

“防止AI对人类造成严重且可能不可逆转的损害是至关重要的，我们应该采取相应的行动，”前禁止化学武器（OPCW）的前局长Ahmetüzümcü表示，该组织颁发了2013年诺贝尔和平奖，该诺贝尔和平奖是üzümcümcümcümcümcümcü的商业。

作为努力可行性的标志，该声明指出了类似的国际决议，这些决议在其他危险领域建立了红线，例如禁止生物武器或消除臭氧的氯氟氟甲苯。

关于AI潜在存在威胁的警告并不新鲜。 2023年3月，包括埃隆·马斯克（Elon Musk）在内的1000多名技术研究人员和领导者呼吁在强大的AI系统的开发中停止。两个月后，包括Openai的Sam Altman，Anthropic的Dario Amodei和Google Deepmind的Demmind的Demis Hassabis在内的著名AI实验室的领导人签署了一句话，该声明提倡将AI对人类对人类的生存风险视为核战争和Pandemics所构成的威胁。

Altman，Amodei和Hassabis并未签署最新信，尽管Openai联合创始人Wojciech Zaremba和Deepmind科学家Ian Goodfellow等著名的AI研究人员也没有签署。

在过去的几年中，领先的美国AI公司经常表明渴望开发安全可靠的AI系统，例如，通过与白宫签署以安全为重点的协议，并在2024年5月在Seoul AI峰会上加入边境AI的安全承诺，最近的研究表明，这些公司的一半是在这些公司中的一半，这些公司在这些公司中的一半是在全球范围内的责任，而全球领导者则在全球范围内实现了全球范围的进步，这是在范围内的一半。社会福利。

OpenAI和Anthropic等公司也自愿允许AI标准和创新中心，专注于美国AI努力的联邦办公室以及英国的AI安全研究所在模型公开发布之前测试和评估AI模型的安全模型。然而，许多观察家质疑这种自愿合作的有效性和局限性。

尽管周一的公开信与过去的努力相呼应，但它通过争辩有约束力的限制而有所不同。公开信是第一个以各种科学学科的诺贝尔奖获得者为特色的。诺贝尔奖的签署者包括生物化学家詹妮弗·杜德纳（Jennifer Doudna），经济学家达伦·阿克莫格鲁（Daron Acemoglu）和物理学家乔治·帕里西（Giorgio Parisi）。

这封信的发布是在联合国大会的高级周开始的，在此期间，州和政府负责人降临纽约市，辩论并规定了未来一年的政策优先事项。联合国将于周四在西班牙总理佩德罗·桑切斯（Pedro Sanchez）和联合国秘书长安东尼奥·古特雷斯（AntónioGuterres）担任的一项活动中启动其第一个外交AI机构。

来自世界各地的60多个公民社会组织也支持这封信，从英国的演示智囊团到AI安全与治理研究所。

AI红线的全球呼吁是由三个非营利组织的三人组织：加利福尼亚大学伯克利分校，未来社会和法国人工智能安全中心的人与兼容AI中心。