关于杰弗里·辛顿（Geoffrey Hinton）对人工智能危险的担忧（“人工智能教父”缩短了该技术在未来 30 年消灭人类的可能性，12 月 27 日），我相信这些担忧可以通过人工智能安全的合作研究得到最好的缓解，监管机构在谈判桌上的角色。
目前，前沿人工智能在开发后使用“红队”进行测试，他们尽最大努力引发负面结果。这种方法永远不够。人工智能需要针对安全和评估进行设计——这可以通过利用成熟的安全相关行业的专业知识和经验来完成。
Hinton 似乎并不认为来自人工智能的生存威胁是被故意编码的——那么为什么不强制刻意避免这种情况呢？虽然我不同意他关于人类面临的风险程度的观点，但预防原则表明我们必须立即采取行动。
在传统的安全关键领域，建造飞机等物理系统的需求限制了安全受到影响的速度。 Frontier AI 在部署时没有这样的物理“速率限制器”，这就是监管需要发挥作用的地方。理想情况下，在部署之前应该进行风险评估，但当前的风险指标还不够，例如，他们没有考虑应用程序部门或部署规模。
监管机构需要有权“召回”已部署的模型（开发这些模型的大公司需要包括阻止特定用途的机制）以及支持风险评估工作，这将提供领先的风险指标，而不仅仅是滞后指标。换句话说，政府需要关注上市后监管控制，同时支持研究，使监管机构能够获得执行上市前控制的见解。如果 Hinton 对人类面临的风险程度的判断是正确的，这虽然具有挑战性，但势在必行。
约翰·麦克德米德教授
约克大学安全自主研究所
关键词：
