NVIDIA 推出通用稀疏张量框架以提高 AI 效率

NVIDIA 发布了通用稀疏张量 (UST) 框架的技术规范，这是一种特定于领域的语言，旨在标准化计算应用程序中稀疏数据结构的存储和处理方式。这一消息发布之际，由于人工智能基础设施优化的需求不断增长，NVIDIA 股价上涨 1.1%，至 190.29 美元。

稀疏张量（大多数元素为零的多维数组）支撑着从大型语言模型推理到科学模拟的一切。问题？有效地处理它们仍然分散在数十种不兼容的存储格式中，每种格式都针对特定用例进行了优化。

UST 实际上做什么

该框架将张量的逻辑稀疏模式与其物理内存表示解耦。开发人员使用 UST 的 DSL 描述他们想要存储的内容，系统会自动处理格式选择 – 调度到优化的库或在不存在预构建解决方案时生成自定义稀疏代码。

这很重要，因为格式选择的组合爆炸增长得快得离谱。对于 6 维张量，仅使用基本的密集和压缩格式就有 46,080 种可能的存储配置。添加阻塞、对角线存储和批处理变体，手动优化变得不切实际。

UST 支持与 SciPy、CuPy 和 PyTorch 中现有的稀疏张量实现的互操作性，将 COO、CSR 和 DIA 等标准格式映射到其内部 DSL 表示。

市场背景

这一时机与全行业要求人工智能硬件提高效率的压力相一致。随着模型扩展到数千亿个参数，稀疏计算提供了实现可持续推理成本的少数可行途径之一。 2026 年 1 月在稀疏增强张量网络 (Saten) 上发表的研究展示了类似的训练后 LLM 压缩方法。

NVIDIA 的 Ian Buck 在 2025 年 11 月指出，科学计算将获得“人工智能的大量注入”，这表明 UST 框架既针对传统的 HPC 工作负载，也针对新兴的人工智能应用程序。

该公司将在 GTC 2026 的“使用 nvmath-python 加速 GPU 科学计算”会议期间展示 UST 功能。对于已经使用稀疏数据的开发人员来说，该框架承诺消除手动编码特定格式优化的繁琐过程——尽管没有指定生产集成时间表。

图片来源：Shutterstock