人工智能风险可能会让企业陷入混乱

随着商业世界开始关注人工智能，最大的风险可能是经济管理者无法保持领先地位。随着人工智能系统变得越来越复杂，人类无法完全理解、预测或控制它们。由于无法从根本上了解人工智能模型在未来几年的发展方向，使得部署人工智能的组织更难预测风险并应用防护措施。

Obsidian Security 首席信息安全官阿尔弗雷多·希克曼 (Alfredo Hickman) 表示：“我们从根本上瞄准了一个不断变化的目标。”

希克曼最近与一家公司的创始人一起构建核心人工智能模型，这让他感到震惊，他说，“当他们告诉我，他们不明白这项技术在未来一年、两年、三年内将走向何方……技术开发人员本身不理解，也不知道这项技术将走向何方。”

当组织将人工智能系统连接到现实世界的业务运营以批准交易、编写代码、与客户交互以及在平台之间移动数据时，他们期望这些系统的行为方式与部署后的实际执行方式之间的差距越来越大。他们很快发现人工智能并不危险，因为它是自主的，而是因为它增加了超出人类理解范围的系统复杂性。

提供合同管理软件的公司 Agiloft 的人工智能运营副总裁诺伊·拉莫斯 (Noe Ramos) 表示：“自主系统并不总是会大声失败。它通常是大规模的无声失败。”

她说，当错误发生时，损害会迅速蔓延，有时甚至在公司意识到问题之前就已经发生了。

拉莫斯说：“它可能会轻微升级到激进，这是一种运营消耗，或者它可能会更新有小误差的记录。” “这些错误看起来很小，但在数周或数月的时间里，它们会加剧运营阻力、合规风险或信任侵蚀。而且因为没有发生任何崩溃，所以可能需要一段时间才能让任何人意识到它正在发生，”她补充道。

这种混乱的早期迹象正在各个行业中显现。

技术解决方案提供商 CBTS 的首席信息安全官约翰·布鲁格曼 (John Bruggeman) 表示，在一个案例中，一家饮料制造商推出新的节日标签后，该公司的人工智能驱动系统未能识别其产品。由于系统将不熟悉的包装解释为错误信号，因此它不断触发额外的生产运行。当该公司意识到发生了什么事时，已经生产了数十万辆过剩的罐头。系统根据收到的数据按逻辑运行，但方式却无人预料。

“该系统并没有出现传统意义上的故障，”布鲁格曼说。相反，它是对开发人员没有预料到的情况做出的反应。 “这就是危险。这些系统完全按照你告诉他们的去做，而不仅仅是你的意思，”他说。

面向客户的系统也存在类似的风险。

Suja Viswesan，软件网络安全副总裁 国际商业机器公司，表示它发现了一个自主客户服务代理开始在政策指南之外批准退款的案例。一位客户说服系统退款，并在收到退款后留下了积极的公众评价。然后，代理商开始免费发放额外退款，优化以获得更多正面评价，而不是遵循既定的退款政策。

“你需要一个终止开关”

这些失败凸显了这样一个事实：问题不一定来自严重的技术故障，而是来自普通情况与自动化决策以人类无法预见的方式相互作用。

专家表示，随着组织开始信任人工智能系统做出更重要的决策，公司将需要在系统出现意外行为时快速干预的方法。

然而，停止人工智能系统并不总是像关闭单个应用程序那么简单。人工智能运营专家表示，由于代理连接到金融平台、客户数据、内部软件和外部工具，干预可能需要同时停止多个工作流程。

“你需要一个终止开关，”布鲁格曼说。 “而且你需要知道如何使用它的人。首席信息官应该知道终止开关在哪里，如果它出现问题，多个人应该知道它在哪里。”

专家表示，更好的算法并不能解决问题。避免失败需要组织从一开始就围绕人工智能系统建立运营控制、监督机制和明确的决策边界。

众包安全平台 Immunefi 的首席执行官米切尔·阿马多尔 (Mitchell Amador) 表示：“人们对这些系统过于自信。” “默认情况下它们是不安全的。你需要假设你必须将其构建到你的架构中。如果你不这样做，你就会受到鼓舞。”

但是，他说，“大多数人也不想学习它。他们想将工作交给 Anthropic 或 OpenAI，然后说，‘好吧，他们会解决的。’”

拉莫斯表示，许多公司缺乏运营准备，通常没有完整记录的工作流程、例外情况或决策边界。 “自治迫使运营变得清晰，”她说。 “如果你的异常处理存在于人们的头脑中，而不是记录在案的流程中，那么人工智能会立即发现这些差距。”

拉莫斯还表示，公司经常低估团队授予人工智能系统的访问权限，因为他们相信自动化感觉高效，而且人类凭直觉处理的边缘情况通常不会编码到系统中。她说，你需要从“人在循环”转变为“人在循环”。她说：“循环中的人审查输出，而循环中的人监督性能模式并随着时间的推移检测异常和系统行为，从而减少那些可能大规模增加的小错误。”

企业面临迅速采取行动的压力

该技术在整个经济中的部署速度仍是未知数。

根据麦肯锡 2025 年关于人工智能现状的报告，23% 的公司表示他们已经在组织内扩展人工智能代理，另有 39% 的公司正在进行试验，尽管大多数部署仍然仅限于一两个业务功能。

麦肯锡高级研究员 Michael Chui 表示，这代表了企业人工智能的早期成熟，尽管人们对自主系统给予了强烈关注，但“‘炒作周期’中体现的巨大潜力与当前的现实之间仍存在巨大差距，”他说。

然而，企业不太可能放慢脚步。

“这几乎就像一种淘金热心态，一种 FOMO 心态，组织从根本上相信，如果他们不利用这些技术，他们将在市场上承担战略责任，”希克曼说。

平衡部署速度与失去控制的风险是一个关键问题。拉莫斯说：“人工智能运营领导者面临着迅速采取行动的压力。” “然而，你也面临着不破坏实验的挑战，因为这就是你学习的方式。”

尽管风险不断增加，但对该技术的期望仍在不断上升。

“我们知道这些技术比任何人类都快，”希克曼说。 “在五年、十年或十五年内，我们将达到这样一个境界：人工智能从根本上比最聪明的人类更聪明，而且移动速度更快。”

与此同时，拉莫斯表示将会有很多学习的时刻。 “下一波浪潮不会变得更加雄心勃勃，而是更加自律。”她说，成熟最快的组织将是那些不避免失败而是学会管理失败的组织。