AI 上的模型路由是 OpenAI 和 Anthropic 的一个问题

随着首席财务官和董事会开始打击低效的人工智能支出，一种新的支出纪律正在美国企业内部扎根。这一变化有可能重塑人工智能行业。

在过去的两年里，该剧本一直默认使用最强大的人工智能模型，并通过它指导所有查询，无论复杂程度如何。现在，随着人工智能账单远远超过预算，公司开始询问是否每项任务实际上都需要顶级或前沿模型。人工智能建设中心的两位领导者本周告诉 CNBC，一种解决方案正在出现：模型路由。

路由是一种将作业与模型相匹配的工具，将困难的问题发送给昂贵的前沿模型，将简单的问题发送给更便宜、更快的替代方案。

开发编码代理 Devin 的 Cognition 首席执行官 Scott Wu 表示，日常工作的收益是巨大的。他说，对于许多样板工作，公司可以使用仍然足以完成任务的模型将成本效率提高 5 到 10 倍。

如今大多数公司根本就没有路由。 Glean 首席执行官 Arvind Jain 估计，大约 95% 的企业人工智能使用仍然在最昂贵的前沿模型上运行，即使是更便宜的替代方案可以轻松处理的任务。吴举了一个例子，要求模特说出美国第三任总统的名字。每一件，无论多么昂贵，都会告诉你这是托马斯·杰斐逊。

这种转变背后的压力是成本曲线，即使是最大的科技公司也感到惊讶。 Jeetu Patel，首席产品官 思科，列出了数学。按每位员工每周使用大约 200 美元的代币计算，每人每年大约使用 10,000 美元。一家拥有 90,000 名员工的公司每年的营收为 9 亿美元。令牌是模型用来生成信息的数据块。使用量按处理的令牌数量计费。

帕特尔表示，思科的预算远远超出了自己的预算，因此必须进行调整，目前有 30,000 名工程师正在构建主要由人工智能编写的产品。思科重新分配了资源，将代币优先于其他支出。

人工智能公司认识到了这种焦虑。

Cognition 宣布了所谓的人工智能生产力保证。如果 Devin 提供的工程价值低于客户支付的费用，Cognition 将资助高达 1000 万美元的使用费用，直到达到标准。吴将其视为一种消除困扰该行业的衡量标准的噪音的方法：投资回报率。

Wu 表示，Cognition 不是衡量消耗的代币或代码行等活动，而是估算其代理实际节省的人类工程小时数，并通过退款支持该估算。他说，你可以花费数十亿代币而不用它做任何事情。公司应该追求产出，而不是活动。

如果公司开始将简单、大批量的工作转向中国或其他地方更便宜的开源模型，那么 OpenAI 和 Anthropic 将不再为每项任务获得报酬。他们只得到更复杂的工作。两家公司都建立了自己的业务，并围绕这些业务进行了首次公开募股（IPO）预期，其前提是市场需求巨大且价格高昂。

帕特尔并不认为这会让前沿实验室陷入困境，并表示尖端技术将仍然有价值。但他认为定价模式正在发生变化。实验室必须提高模型的使用效率，而不是简单地收取更多费用，帕特尔预测这将导致行业的共同努力。

问题是，随着人工智能费用的攀升，企业是否会继续支出。现在看来，许多人只会找到一种明智的消费方式。定价权正在从销售优质人工智能的公司转向购买人工智能的公司。

前沿实验室仍将因最艰苦的工作而获得溢价。但其他东西的市场份额有多大呢？这个答案可能对确定领先人工智能公司的估值大有帮助。