初创加速计划 | 0xmd 生成式 AI 医疗健康解决方案

案例简介

本案例中，0xmd 公司通过 NVIDIA GPU 打造医疗 AI 解决方案，覆盖影像分析和文本解读等领域。

本案例采用 TensorRT、MONAI、Triton Inference Server 等先进工具，实现了高效的图像识别、医学文本分析和模型推理，帮助医疗机构显著提升诊断效率与准确性。

以生成式 AI 赋能医疗健康

0xmd 专注于研发面向医疗和健康的生成式 AI 应用，致力于改进患者护理和医学诊断。解决方案涵盖增强诊断能力、改善病患护理、优化医疗体系，推动医疗服务更加平等与普及。0xmd 的方案应用于食品分析、药物管理、健康检查报告解读和皮肤病检测等领域。

0xmd 医疗 AI 方案面临的挑战

在推动医疗健康 AI 方案的技术和业务上也遇到了一些挑战，包括高性能技术需求、实时成像数据处理、模型推理效率和准确性、多模态数据融合、扩展性和灵活性等，在 NVIDIA 的产品和技术支持下实现了很好的优化。

• 高性能计算需求：处理医学影像和复杂医学文本数据需要强大的计算能力。NVIDIA GPU 及其并行计算技术，能够高效处理和分析海量医疗数据，满足实时复杂算法的执行需求。
• 成像数据处理：通过深度学习技术，对多种类型的医疗影像数据（如 X 光片、MRI 和 CT 扫描）进行分析和处理。利用 MONAI 进行影像的预处理、增强和分割，从而提高诊断的准确性和速度，实现高吞吐量、低延迟的医疗影像分析。这为医疗专业人员提供了即时且可操作的诊断信息，支持精准医疗决策。
• 模型推理效率与准确性：提高模型推理的效率、准确性和速度是关键挑战。通过 TensorRT 和 Triton Inference Server 的优化，实现了模型推理加速，显著提升了诊断效率和准确性。
• 多模态数据融合：LVLM 需要融合文本与图像数据。NVIDIA GPU 以卓越的图像处理能力，为多模态数据分析提供了强大支持。
• 扩展性与灵活性：随着业务发展，需要一个可扩展且灵活的技术基础设施。NVIDIA 解决方案帮助动态调整资源和计算能力，支持公司的全球业务扩展。

NVIDIA 驱动 0xmd

实现医疗 AI 应用升级

0xmd 的医疗 AI 应用，最重要一部分是AI医疗小助手：用户通过与 AI 助手的对话， AI 小助手会根据已有的模型进行详细分析、解答和询问，通过模拟真实世界医生和病人的问诊过程，从而帮助用户更好的处理病患或健康相关问题。在此应用上，公司采用 NVIDIA GPU 用于训练和推理，确保高效的运算性能和反应速度，极大地优化了 AI 模型推理的效率和效果。同时，通过 TensorRT 的部署，优化了深度学习模型，提高生产环境中的推理效率。同时，通过模型的量化和层融合技术，TensorRT 适用于所有规模的模型，能有效减少延迟并提升吞吐量。在模型并行部署时，采用 Triton Inference Server，根据需求动态调整资源分配，优化整体的运算效率。

公司医疗 AI 应用也接入了大型视觉语言模型（LvLM），应用于食品、药品、体检报告和皮肤病检测领域。例如，通过健康报告扫描器，用于解读体检报告，分析和提取关键信息，以全面了解用户的健康情况。

为了支持实时医疗影像的分析与预处理，公司基于 MONAI Stream SDK 打造了高效的 AI 驱动解决方案进行医疗影像处理。MONAI 基于 PyTorch 构建，支持图像分割、分类和配准等多种医疗影像任务，并提供专为医疗影像优化的工具和算法。

0xmd 正在逐步将现有系统更新至 NVIDIA Clara，以获得更广泛的生态系统支持，预计在 2025 年第三季度完成。更新后的系统将进一步应用 MONAI Deploy SDK，提升预处理、增强和推理等环节中的深度学习模型的精准度和效率，确保更快速地分析 X 光片、MRI 和 CT 扫描等医疗影像。

MONAI Label 工具在训练数据集标注上的优势，也有助于提升医疗影像分析模型的质量，从而增强整个系统的分析能力。

NVIDIA 高性能计算解决方案

助力 0xmd 医疗 AI 应用效能跃升

NVIDIA 技术在 0xmd 的应用中带来了显著的效果，在 NVIDIA GPU 和软件库的赋能下，0xmd 开发出更为高效和精准的医疗 AI 模型应用。NVIDIA GPU 的部署使得由小型到大型模型的推理变得更有效率，大幅提高了医疗影像分析和自然语言处理的反应速度。在模型训练阶段，也极大缩短了研发周期，帮助 0xmd 更快地迭代和优化 AI 模型和应用。

通过引入 NVIDIA 的 Triton Inference Server，能够在维持成本的同时灵活地扩展其服务。这一技术优势使得 0xmd 能够在全球范围内更高效地部署和管理其医疗AI解决方案，从而快速扩展业务，并在全球市场中取得领先地位。结合 MONAI 的应用，进一步增强了 0xmd 在医疗影像分析与数据处理上的效率。

0xmd 创始人及首席架构师区兆伦表示：“NVIDIA 的技术在我们的业务中起到了革命性的作用。它不仅提高了我们的运算效率，还大大缩短了产品开发周期。借助于 NVIDIA 的高性能计算解决方案，我们能够提供市场领先的医疗 AI 产品，这在提高诊断准确性和加快疾病诊断速度方面发挥了至关重要的作用。”