NVIDIA Holoscan 与 RTI Connext 为 AI 赋能的医疗设备铺平道路
realtime news Jul 04, 2024 06:46
NVIDIA Holoscan 和 RTI Connext 的集成为医疗设备提供实时 AI 功能，提升医疗保健效果，提高运营效率。
各行业对实时洞察和自主决策的需求日益增长，医疗保健和医疗设备领域也不例外。利用实时边缘 AI，下一代医疗保健有望提供更精准的治疗，改善患者结果，提高运营效率。
未来的手术室将越来越多地结合 AI 赋能和互联设备，提供对全方位患者数据、手术洞察、决策和行动的实时访问。在这样的未来，作为医疗设备的软件 (SaMD) 必须能够在分布式医疗系统中处理大量数据，同时满足严格的性能和延迟要求。这需要互操作性，以确保各种传感器、显示器、控制和应用程序之间的数据连接高效、可靠且安全，而不会牺牲性能或延迟。
本文展示了如何集成 NVIDIA Holoscan 和 RTI Connext，创建具备高互操作性、低延迟和分布式连接的 AI 驱动医疗设备应用。此集成以最小开销和减少实施努力和复杂性实现了这些优势。
NVIDIA Holoscan 用于实时 AI 传感器处理
NVIDIA Holoscan 为开发人员提供了一个生产就绪的框架，用于构建端到端的实时 AI 传感器处理管道，从传感器数据输入到加速计算和 AI 推理、实时可视化、执行和数据流输出。这个综合解决方案有效解决了大量边缘 AI 开发挑战，确保最佳的应用性能，同时抽象出开发复杂性，缩短上市时间，并提供了使用 Python 和 C++ 编码的便利。
RTI Connext 用于实时数据中心连接
基于数据分发服务 (DDS) 标准的 RTI Connext，通过分布式和实时软件通信框架简化了复杂和可扩展系统之间的连接。使用 Connext，Holoscan 应用程序可以以较小的开销集成到分布式数据源和应用程序中，同时最大限度地减小实现性能、可靠性和安全性所需的实施努力和复杂性。
Connext 提供复杂系统组件之间的实时信息交换，满足严格的可靠性、网络安全和性能要求。基于 Connext 的医疗系统具有弹性、自成型和自我修复，无单点故障。广泛的服务质量调优选项有助于满足分布式智能手术系统中实时视频和关联数据的需求。基于 DDS 安全标准的内置安全性提供了认证和加密的基础，以及安全日志记录和细粒度访问控制，保护关键系统免受安全漏洞的侵害，并满足 FDA 等监管机构强制执行的网络安全要求。
集成 NVIDIA Holoscan 和 RTI Connext
今天的医疗保健系统建立在大量未最初设计为 AI 能力的已安装遗留系统之上，NVIDIA Holoscan 目前尚未在这些系统中得到本地支持。通过将 Connext 与 Holoscan 整合，开发人员可以通过将 Holoscan 作为这些设备的侧车（伴随计算模块）来将现有的遗留安装转换为 AI 赋能和软件定义的设备，在 Holoscan 未被本地支持的地方实现转型。
例如，许多现有的医疗设备目前基于 Windows，特别是在医疗影像领域，Holoscan 并未被本地支持。作为侧车的 Holoscan 可以为运行实时操作系统 (RTOS) 的非 NVIDIA 系统中的机器人手术系统带来先进的 AI 功能。此外，诸如病人监护等低端传感医疗设备可能会被强大 AI 算法增强，而遗留系统的硬件或软件否则会限制这种新功能的添加。
通过 RTI Connext DDS 实现的 Holoscan DDS 互操作性提供了这些场景的解决方案，提供了可扩展的、AI 赋能的 Holoscan 侧车，可以与遗留系统无缝通信。Holoscan 提供了卓越的 GPU 加速 SaMD 基础设施，支持下一代医疗保健系统中 AI 驱动的工作流程的创新和部署，这些系统通常需要在处理大量数据时满足非常严格的延迟限制。
使用 RTI Connext，Holoscan 应用程序可以以较小的开销集成到分布式医疗保健系统中，同时最大限度地减小实现这些系统所需的性能、可靠性和安全性所需的实施努力和复杂性。在 Connext 已经被使用的情况下，可能不需要对现有系统进行修改，就能引入新的 Holoscan 驱动 AI 工作流程。
集成 RTI Connext 的示例 Holoscan 应用
本部分提供了一个示例用例：运行在专用系统上的 Holoscan 应用程序，作为侧车运行。该应用程序使用 RTI Connext 从 DDS 数据总线读取帧，在 Holoscan 工作流中处理帧数据，然后通过 Connext 将结果发布回数据总线，以便另一个设备读取处理后的帧数据并显示。
该示例增强了一个常见的医疗保健系统场景，其中多个传感器捕获数据，然后将其汇总以便在单独的监控系统上显示。将 AI 驱动的 Holoscan 工作流程添加到这一数据流的中间，通常可以对现有组件进行较少的修改。Connext 有助于弥补这些差距。
此示例的核心组件是 Holoscan DDS 视频流操作符，可通过 GitHub 上的 nvidia-holoscan/holohub 获取。这些操作符使 Holoscan 应用程序能够实时从 DDS 数据总线读取和写入视频帧。使用这些操作符，Holoscan 应用程序可以从数据总线读取视频帧（用作工作流处理的源），并将处理后的结果写回数据总线（供另一个组件使用）。
将这两个应用程序结合起来，说明了侧车数据流使用三个过程：
- 一个 dds_video 进程捕获来自摄像头传感器的帧，并将其发布到 DDS。
- 一个 body_pose_estimation 进程接收来自 DDS 的输入传感器帧，通过躯体姿态估计模型处理这些帧，然后将推理结果覆盖在图像上输出到 DDS。
- 另一个 dds_video 进程接收处理后的帧并将其渲染到显示器。
要在本地运行此示例，请首先阅读 HoloHub DDS 操作文档，了解设置 RTI Connext 的依赖要求。要了解如何构建和运行这些应用程序，请参见 体姿估计文档的 DDS 支持 部分。
总结
将 NVIDIA Holoscan 与 RTI Connext 集成，为医疗设备行业的 Holoscan 开发人员在过渡到 AI 增强的系统和设备时提供了许多优势。这些优势包括与分布式医疗保健系统的无缝集成，具有最小的开销，通过高级 AI 算法增强遗留系统等。
Image source: Shutterstock