NVIDIA Holoscan 通过多模态成像增强实时手术指导

为了提高手术精度，NVIDIA Holoscan 通过融合多模态成像数据在手术过程中提供实时指导，取得了重大进展。这项尖端技术将术前 3D 图像与术中视频相结合，为外科医生提供全面的视图，从而增强决策和手术结果，从而彻底改变外科手术。

多模态成像集成的挑战

外科医生面临着将术前 3D 成像数据（例如 CT 扫描）与实时术中视频无缝结合的挑战。这种集成对于在微创手术期间准确导航和了解患者的解剖结构至关重要。然而，手术期间缺乏无缝访问术前数据仍然是一个障碍。

为了解决这个问题，NVIDIA Holoscan 提供了一个结合了人工智能、加速计算和高级可视化的平台，可以实时处理多模式数据。该技术可跟踪解剖结构、融合数据并提供低延迟可视化，这对于手眼协调和实时手术决策至关重要。

ImFusion 的创新方法

ImFusion 是 NVIDIA Connect 计划的成员，它利用 Holoscan 将术前数据与实时成像集成。他们的系统根据术前 CT 扫描创建数字 3D 网格，并将其叠加到实时视频源上，使外科医生能够可视化混合数据并实时做出明智的决策。

这种集成基于 ImFusion 的专有 SDK，可提高性能和效率，从而实现下一代医疗设备软件 (SaMD) 的开发。该系统的神经网络（立体深度估计、光流估计和分割）利用 Holoscan 的加速功能在手术期间提供关键的空间和视觉信息。

实时性能和协作

ImFusion 的系统利用 NVIDIA 的 IGX 开发套件和 RTX 6000 Ada GPU，实现了 13.5 Hz 的中位帧速率，端到端延迟低于 75 毫秒。这种性能对于实时手术应用至关重要，可提供即时视觉反馈并增强手术场景的视野。

与欧洲最大的机器人手术培训中心 ORSI Academy 的合作有助于加强该系统的临床相关性。此次合作旨在通过最大限度地减少对健康组织的损害来改善手术导航，特别是在复杂的手术中。

未来前景和开源贡献

ImFusion 和 NVIDIA Holoscan 之间的合作正在为手术精度设定新标准，将人工智能和加速计算相结合以增强性能和安全性。对 Holoscan 参考应用程序的贡献为医疗技术客户提供了集成和构建这些创新的机会。

为了进一步探索和贡献，可以使用 Holoscan 参考应用程序存储库，培育一个生态系统，加速人工智能增强型医疗设备的开发，并推进用于手术指导的实时传感器融合。

如需了解更多信息，请访问 NVIDIA 技术博客。

图片来源：Shutterstock