我 在我十几岁的时候是一位技术，有时希望我出生于2090年，而不是1990年，这样我就可以看到未来的所有令人难以置信的技术。不过，最近，我对我们与大多数人互动的技术是否真的为我们服务，还是我们正在为之服务。
因此，当我收到邀请参加巴黎AI峰会的有关安全和道德AI的会议时，我已经准备好听听玛丽亚·雷萨（Maria Ressa），菲律宾记者和2021年诺贝尔和平奖得奖者，谈论诺贝尔和平奖。科技不罚，使其网络被虚假信息，仇恨和操纵淹没，对选举产生非常真实，负面影响的方式。
但是我不准备听到一些“ AI的教父”，例如Yoshua Bengio，Geoffrey Hinton，Stuart Russell和Max Tegmark，谈论事情可能如何离铁轨更远。他们担心的中心是参加AGI的竞赛（人工通用情报，尽管Tegmark认为“ A”应该指“自主”），这意味着，这是地球上生命史上的第一次除人类以外的实体同时拥有高度的自主权，高通用性和高度的智力，并且可能会发展出与人类福祉“不一致”的目标。也许是由于国家国家的安全策略的结果，或者不惜一切代价寻求公司利润。
Tegmark告诉我：“今天不是今天的AI，这是明年的。” “就像您在1942年正在采访我一样，您问我：'为什么人们不担心核武器竞赛？'除了他们认为他们 是 在军备竞赛中，这实际上是一场自杀竞赛。”
它想到了罗纳德·D·摩尔（Ronald d Moore）2003年对战斗大赛（Battlestar Galactica）的重新构想，其中一位公共关系官员向记者展示：“看起来奇怪甚至过时的事物，例如带有绳索的手机，笨拙的手动阀，几乎不值得的计算机，姓名”。 “这一切都旨在与一个可以渗透和破坏除最基本的计算机系统以外的所有敌人的行动……我们对敌人感到非常恐惧，以至于我们从字面上寻求保护寻求保护。”
也许我们需要一个新的缩写词，我想。 我们应该谈论“自我，而不是相互保证的破坏– 被抛弃的毁灭”，额外的重点：悲伤！甚至可能突破唐纳德·特朗普的首字母缩写词。
我们在地球上可能失去对AGI的控制的想法听起来像科幻小说 – 但是考虑到AI发展的指数增长，这真的很牵强吗？正如班吉奥指出的那样，一些最先进的AI模型已经在测试过程中试图欺骗人类程序员，无论是为了追求其指定的目标，都逃脱了被删除或替换为更新。
斯图尔特·罗素（Stuart Russell）说，当人类克隆的突破范围内，生物学家聚集在一起，同意不追求它。同样，Tegmark和Russell都赞成暂停追求AGI的暂停，以及分层风险方法 – 比欧盟的AI法案更严格 – 就像在毒品批准过程中一样，高风险层中的AI系统必须证明向调节器说，他们不会越过某些红线，例如能够将自己复制到其他计算机上。
但是，即使会议似乎对这些未来驱动的恐惧有所加权，但在AI安全和道德专家中，来自行业，学术界和政府参加的领先的AI安全和道德专家也存在明显的分歧。如果“教父”担心AGI，那么年轻，更多样化的人群就在推动同等的关注AIS已经对气候和民主构成的危险。
我们不必等待AGI独自决定以更快的速度淹没世界上的世界 – 微软，元，字母，Openai和他们的中国同行已经在这样做。或者要使AGI自己决定操纵选民，以便将政客放松管制议程 – 唐纳德·特朗普和埃隆·马斯克已经在追求。即使在AI当前的早期阶段，它的能源使用也是灾难性的：根据AI和司法司法主席Kate Crawford的说法，数据中心已经占美国和中国所有电力消费量的6％以上，需求只会不断增长。
斯坦福大学AI治理博士研究员Sacha Alanoca告诉我：“我们不需要将主题视为互斥的，而是需要政策制定者和政府来解释两者。” “我们应该优先考虑经验驱动的问题，例如已经具有切实解决方案的环境危害。”
为此，Hugging Face的Sasha Luccioni，AI和气候领先（开源AI Models的协作平台）本周宣布，该初创公司在完成不同任务时已经推出了AI Energy得分，对他们的能源消耗进行了166个模型。该初创公司还将提供一到五星级的评级系统，与欧盟的家用电器的能源标签相当，以指导用户采取可持续选择。
新闻通讯促销之后
罗素说：“世界上有科学预算，我们在AI上花费的钱。” “我们本可以做一些有用的事情，而是我们将资源倾倒到这场比赛中，以脱离悬崖的边缘。”他没有具体说明哪些选择，但是仅仅两个月的时间就宣布了AI投资的大约1美元，而全世界仍然远远远远远远远远远远远远超过供暖的2C，更不用说1.5。 C
似乎我们有一个萎缩的机会，可以为公司创建真正受益于我们个人和集体生活的AI的激励措施：可持续，包容，民主兼容，受到控制。除了法规之外，“确保一般的人工智能发展中存在一种参与文化”，正如经合组织技术与民主的顾问EloïseGabadou所说。
在会议结束时，我对罗素说，我们似乎正在利用令人难以置信的能量和其他自然资源来竞争我们可能首先不应该创造的东西，而这些版本相对良性的版本从许多方面来说，已经与我们真正想要生活的社会失错了。
“是的，”他回答。
关键词：
