王荣柴
2024 年 12 月 9 日 15:56
NVIDIA 的 QUEEN AI 模型增强了自由视点视频流，提供身临其境的体验和高效的场景重建，适用于包括体育、教育和工业用途在内的各种应用。
NVIDIA 与马里兰大学合作推出了一种名为 QUEEN 的创新 AI 模型，旨在改变动态场景重建领域。据 NVIDIA Research 称，该模型可以传输自由视点视频，让用户可以从任何角度体验 3D 场景。
彻底改变内容流媒体
QUEEN 的功能扩展到各种应用，包括沉浸式教育工具、增强的体育观看体验和高级视频会议。它还准备通过促进仓库或制造环境中机器人的远程操作来帮助工业应用。
技术进步
作为 NeurIPS 2024 会议上演示的一部分，QUEEN 展示了其平衡压缩率、视觉质量和渲染时间等关键因素的能力。 NVIDIA 研究总监 Shalini De Mello 强调了 QUEEN 的优化流程，该流程为近实时场景中的视觉质量和流传输能力设定了新标准。
效率与质量相结合
QUEEN 解决了先前人工智能方法在内存使用和视觉质量方面的挑战。通过有效地重建和压缩 3D 场景，QUEEN 即使在动态设置中也能提供高质量的视觉效果。它能够比以前的方法更快地渲染这些视觉效果，支持一系列流媒体应用程序。
创新用例
该模型能够跟踪和重用视频场景中的静态区域，从而显着降低计算需求，而是专注于具有动态内容的区域。这项创新使 QUEEN 能够以每秒约 350 帧的惊人速度渲染自由视点视频，训练时间仅为 5 秒。
潜在的应用包括媒体广播，QUEEN 可以在体育赛事期间提供身临其境的虚拟现实体验或即时重播。在工业环境中，它可以提高机器人操作员的深度感知，而在视频会议中，它允许用户选择信息最丰富的视角。
开源和未来展望
NVIDIA 计划开源 QUEEN，进一步推进 AI 应用的研发。该模型是 NeurIPS 上 50 多篇 NVIDIA 撰写的论文的一部分，展示了突破性的 AI 研究及其在模拟、机器人和医疗保健等不同领域的应用。
QUEEN 的推出标志着人工智能驱动的视频流的重大飞跃，为内容交付和用户参与提供了新的可能性。
图片来源：Shutterstock
关键词：人工智能,加密,区块链,新闻
