Felix Pinkston
2025年2月13日11:11
AI一起使用新的无服务器API和推理簇增强了DeepSeek-R1的部署，为大规模推理模型应用程序提供了高速和可扩展的解决方案。
AI共同宣布了在其DeepSeek-R1推理模型部署中的重大进步，引入了增强的无服务器API和专用推理簇。此举旨在支持将复杂的推理模型集成到其生产应用程序中的公司不断增长的需求。
增强的无服务器API
据报道，新的DeepSeek-R1无服务器API的速度是市场上当前可用的任何其他API的两倍，可实现低延迟，生产级推断，并具有无缝的可伸缩性。该API旨在为公司提供快速，响应迅速的用户体验和有效的多步骤工作流，这对于依靠推理模型的现代应用程序至关重要。
无服务器API的关键功能包括即时可扩展性，没有基础架构管理，灵活的付款方式，并通过托管AI的数据中心进行托管增强的安全性。与OpenAI兼容的API进一步促进了易于集成到现有应用程序中，在规模层上提供了每分钟最多9000个请求的高率限制。
引入合理集群
为了补充无服务器解决方案，AI共同启动了推理簇，该集群为高通量，低延迟推断提供了专用的GPU基础架构。这些集群特别适合处理变量，备用代币的推理工作负载，可实现每秒高达110个令牌的解码速度。
该集群利用专有的推理引擎，据报道，其比Sglang这样的开源引擎快2.5倍。这种效率允许与GPU相同的吞吐量，在保持高性能的同时降低基础设施成本。
可伸缩性和成本效率
AI共同提供了一系列群集大小，以符合不同的工作量需求，其基于合同的定价模型可确保可预测的成本。这种设置对具有大量工作量的企业特别有益，为基于令牌的定价提供了一种具有成本效益的替代方案。
此外，专门的基础设施可确保北美数据中心内的安全，孤立的环境，满足隐私和合规要求。凭借企业支持和服务水平协议可确保99.9％的正常运行时间，AI共同确保了关键任务应用程序的可靠绩效。
有关更多信息，请访问AI。
图像来源：Shutterstock
（tagstotranslate）AI（T）加密（T）区块链（T）新闻
关键词：
