中号每周有超过 3 亿人使用 OpenAI 的 ChatGPT，这证明了该技术的吸引力。本月，该公司为其新的“o1”人工智能系统推出了“专业模式”，提供人类水平的推理——费用是目前 20 美元每月订阅费的 10 倍。它的高级行为之一似乎是自我保护。在测试中，当系统被引导相信它将被关闭时，它会尝试禁用监督机制。当“o1”找到有关其替代品的备忘录时，它尝试复制自身并覆盖其核心代码。爬行？绝对地。
更现实的是，此举可能反映了系统优化结果的编程，而不是展示意图或意识。创造智能机器的想法会引起不安。在计算中，这就是大猩猩问题：700 万年前，一种现已灭绝的灵长类动物进化出来，其中一个分支演化为大猩猩，一个分支演化为人类。令人担忧的是，就像大猩猩失去了对人类命运的控制一样，人类也可能失去对超级智能人工智能的控制。我们能否控制比我们更聪明的机器并不明显。
为什么会发生这样的事情呢？据报道，OpenAI 和谷歌等人工智能巨头面临计算限制：缩放模型不再保证人工智能更智能。由于数据有限，并不是越大越好。修复？人类对推理的反馈。 OpenAI 前首席科学家在 2023 年发表的一篇论文发现，这种方法解决了 78% 的棘手数学问题，而使用人类无法帮助的技术时，只能解决 70%。
OpenAI 正在其新的“o1”系统中使用此类技术，该公司认为这将解决当前的增长限制。计算机科学家 Subbarao Kambhampati 告诉《大西洋月刊》，这种发展类似于人工智能系统通过玩一百万盘国际象棋来学习最佳策略。然而，耶鲁大学的一个测试“o1”系统的团队发表了一篇论文，该论文表明，让语言模型更好地推理会有所帮助，但它并不能完全消除其原始设计作为简单的单词预测器的影响。
如果外星人登陆并送给人类一个超级智能的人工智能黑匣子，那么在打开它时要小心谨慎。但当今的人工智能系统是人类设计的。如果它们最终确实显得具有操纵性，那将是设计失败的结果。依赖于我们无法控制操作的机器需要对其进行编程，以便它真正符合人类的欲望和愿望。但这有多现实呢？
在许多文化中都有人类向神灵祈求神力的故事。这些傲慢的故事往往以遗憾告终，因为愿望被过于字面地实现，导致不可预见的后果。通常，第三个也是最后一个愿望被用来撤销前两个愿望。传说中的希腊国王迈达斯就面临着这样的困境，他希望自己所触碰的一切都变成金子，但当他的食物、饮料和亲人都遭遇同样的命运时，他感到绝望。人工智能的问题在于，我们希望机器能够努力实现人类的目标，但知道软件并不确切地知道这些目标是什么。显然，不受控制的野心会导致后悔。控制不可预测的超级人工智能需要重新思考人工智能应该是什么。
关键词：
