Mistral AI 推出新的审核 API 以增强内容安全

Mistral AI 宣布推出新的审核 API，该工具旨在增强内容管理系统的安全性和可扩展性。据 Mistral AI 称，该 API 旨在使用户能够跨不同策略维度检测不良文本内容。

加强安全措施

审核 API 构建于支持 Mistral AI 的 Le Chat 平台审核服务的同一框架之上。它为用户提供了一种灵活的工具，可以根据特定的安全标准和应用需求进行定制。随着对基于大型语言模型 (LLM) 的审核系统的需求不断增长，Mistral AI 的产品力求提供可扩展且强大的解决方案。

多语言能力

该 API 具有 LLM 分类器，能够将文本输入分为九个不同的类别。它包括原始文本和对话内容的端点，使其能够在特定对话上下文中对消息进行分类。该模型支持多种语言，包括阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语，适合全球受众。

关注政策相关性

内容审核分类器集成了相关的政策类别，以建立有效的防护措施，防止潜在的危害，例如不合格的建议和个人身份信息 (PII) 的暴露。 Mistral AI 的法学硕士安全方法既务实又全面，解决了不同背景下不良内容的细微差别。

绩效与协作

Mistral AI 共享性能指标，包括内部测试策略的精确召回曲线下面积 (AUC PR)。该公司致力于与客户和更广泛的研究社区合作，完善和扩展其审核工具，为人工智能领域的安全进步做出贡献。

此版本是 Mistral AI 持续努力的一部分，旨在提供轻量级、可定制的审核解决方案，以适应行业不断变化的需求。

图片来源：Shutterstock