NVIDIA 利用 NeMo Retriever 增强多语言信息检索

NVIDIA 表示，高效的文本检索已成为众多应用的基石，包括搜索、问答和项目推荐。该公司正在利用其最新创新 NeMo Retriever 解决多语言信息检索系统固有的挑战，该创新旨在提高跨多种语言的信息的可访问性和准确性。

多语言信息检索的挑战

检索增强生成 (RAG) 是一种使大型语言模型 (LLM) 能够访问外部上下文，从而提高响应质量的技术。然而，许多嵌入模型由于其主要是英语训练数据集而难以处理多语言数据。这种限制影响了其他语言的准确文本响应的生成，给全球通信带来了挑战。

NVIDIA NeMo 检索器简介

NVIDIA 的 NeMo Retriever 旨在通过为多语言信息检索提供可扩展且准确的解决方案来克服这些挑战。 NeMo Retriever 基于 NVIDIA NIM 平台构建，可在不同的数据环境中提供无缝的 AI 应用程序部署。它重新定义了大规模、多语言检索的处理，确保了高精度和响应能力。

NeMo Retriever 使用一组微服务来提供高精度信息检索，同时维护数据隐私。该系统使企业能够生成实时业务洞察，这对于有效决策和客户参与至关重要。

技术创新

为了优化数据存储和检索，NVIDIA 在 NeMo Retriever 中融入了多种技术：

• 长上下文支持： 允许处理大量文档，支持多达 8192 个令牌。
• 动态嵌入大小： 提供灵活的嵌入大小以优化存储和检索过程。
• 存储效率： 减少嵌入尺寸，使存储体积减少 35 倍。
• 性能优化： 将长上下文支持与减少的嵌入维度相结合，以实现高精度和存储效率。

基准性能

NVIDIA 的 1B 参数检索器模型已在各种多语言和跨语言数据集上进行了评估，证明与其他模型相比具有更高的准确性。这些评估突出了模型在多语言检索任务中的有效性，为准确性和效率设定了新的基准。

如需进一步了解 NVIDIA 的进步并探索其功能，感兴趣的开发人员可以访问 NVIDIA 博客。

图片来源：Shutterstock