NVIDIA 知乎精彩问答甄选 | NVIDIA AI 在媒体和娱乐行业应用精彩问答

NVIDIA 带来知乎精彩问答甄选系列，将为您精选知乎上有关 NVIDIA 产品的精彩问答。

本期为问答甄选第二十二期 ——了解 NVIDIA AI 在媒体和娱乐行业应用精彩问答

以下两个知乎甄选问答将为您了解NVIDIA AI 在媒体和娱乐行业应用相关内容带来更加精彩的解答！

Q：

目前视觉 AI 技术在体育转播分析方面已经不可或缺了，有没有人愿意分享一下有哪些具体应用吗？

A：

Pixellot 正在成功应用视觉 AI 技术，帮助企业更加便捷地向全球观众提供实时体育赛事转播和分析。Pixellot 提供了一个由 AI 驱动的、能够自动完成体育赛事捕捉、传输和分析的平台。

Pixellot 的工作原理

搭载 NVIDIA Jetson 的轻型 Pixellot 摄像机可拍摄高质量的比赛、竞技甚至训练视频，并通过应用程序向用户进行实时直播，同时在画面上叠加记分牌、实时统计、赛况解说等功能。

该平台还使用NVIDIA RTX光追技术创建了自动视图框，能够模拟摄像师、优化视频和校正场景灯光。

此外，该平台具备 OTT 流式传输能力，无需传统的有线电视或卫星电视供应商，就能直接通过互联网实现传输，这样一来观众触达体育赛事更容易，企业或赛事组织也能够因此获得盈利。

Pixellot 在其所有摄像机设置中都配备了NVIDIA DeepStream软件开发套件，同时搭载NVIDIA TensorRT SDK进行高性能深度学习推理，以进行 AI 视频流分析。

NVIDIA Jetson Orin NX模块支持在赛场或球场边缘实现 AI 加持的视频处理和 GPU 加速计算，因此 Pixellot 能够在任何地方实现体育赛事播放。

Q：

广播公司如何能利用生成式 AI 优化工作呢？

A：

NVIDIA 提供的技术为广播市场带来了灵活性和可扩展性，帮助用户轻松采用并过渡到最新标准。

软件定义是广播的未来发展趋势，媒体应用将能够在本地、云端、边缘等任何地点的现成商用硬件上运行。为了实现这一未来，NVIDIA 开发了基于互联网协议（IP）的平台架构 Holoscan for Media，用于构建和部署媒体应用。Holoscan for Media 基于行业标准和 API（包括 SMPTE ST 2110、AMWA NMOS、RIST、SRT 和 NDI）构建，具有中立性、灵活性和混合性的特点。通过 Holoscan for Media，广播公司和方案商可以使用最新的 IT 与配置技术，并提供基于容器的现代开发、编排和交付方法。

该平台集成了各种开源和泛用技术，打破了基于串行数字接口（SDI）和现场可编程门阵列（FPGA）系统的专有性和不灵活性，这意味着没有了锁定。它让用户能够充分利用通用控制和统一基础设施层，同时实现独立于用例的细粒度资源分配，从而优化成本、降低功耗与冷却要求并改进资源管理。

Holoscan for Media 还为 NVIDIA 的所有应用框架和软件开发套件（如推荐器、计算机视觉和对话式 AI）打通了随时融入供应商应用和生产管线的通道。

它带来了包括生成式 AI 在内的最新内容创建和发布功能，而且无需追加对基础设施的投资。

从 SDI 到 IP：轻松过渡到 SMPTE ST 2110

从 SDI 过渡到 IP 基础设施面临着种种挑战。网络知识有限的广播公司可能会感到部署和设置十分复杂。

使用网络基础设施提供实时同步视频传输解决方案还涉及到复杂的规范，比如 SMPTE ST 2110 等。这些规范并不适用于典型的标准 IT 基础设施，因此要符合这些规范可能具有一定的挑战性。

但这种过渡带来的好处数不胜数，包括通过网络提供实时视频管线、直接连接 AI 和 3D 工作负载以及可轻松扩展至更高分辨率和 FPS 的基础设施等。

为了充分利用 IP 的优势，广播公司和应用厂商纷纷开始使用 NVIDIA Rivermax SDK。

Rivermax 是采用 SMPTE ST 2110 的关键。SMPTE ST 2110 是实际的非压缩视频制作标准，该标准规定以固定位速率传输流量。它通过控制数据包突发确保每个像素的顺利传输，并通过 AMWA 网络媒体开放规范（NMOS）实现网络片段的调度和互通性。

NVIDIA Rivermax 在 NVIDIA ConnectX SmartNIC 或 BlueField DPU 上运行，提供通过 DOCA-Firefly 实现的原生集成 PTP 时间服务、原生集成 NMOS 以及通过硬件实现的 SMPTE ST 2110-21 合规性。

加速媒体传输速度和 AI 采用

除了 SMPTE ST 2110 之外，广播行业还针对不同用例采用了各种 IP 协议，包括 UDP、MPEG-TS、RTMP、SRT、RIST、NDI、HLS 和 MPEG-DASH 等。

NVIDIA DeepStream SDK 支持所有广播传输协议，并通过经过优化的 GPU 管线加快处理速度。DeepStream 是基于 GStreamer 的完整流式传输分析套件，可用于基于 AI 的多传感器处理、视频、音频和图像理解。它还预集成了 Rivermax 和 NMOS。

有了 DeepStream，开发者就可以使用简单的 API 结构和 Python、C 或 C++ 创建包含神经网络和其他复杂处理任务（如追踪、视频编码/解码和视频渲染）的处理管线。

此外，DeepStream 还提供了图形用户界面应用——NVIDIA Composer。该应用为用户提供了一个简单易用的用户界面（UI），方便用户创建 AI 应用管线。它实现了媒体应用开发的低代码化和 AI 加速化，减少了设计的复杂性和产品上市时间。

通往 SMPTE ST 2110 内容的捷径

NVIDIA RivermaxDisplay 的推出进一步简化了向 SMPTE ST 2110 的过渡。该软件可将任何 PC 转化成符合 SMPTE ST 2110、支持 NMOS 的信号源。

该应用为那些希望通过加入 Windows 内容（如天气预报、社交信息和在线地图）以增强叙事性的广播公司提供了新的机遇。

由于 RivermaxDisplay 是一款兼容 NMOS 的发送器，因此任何 PC 都可以成为 Holoscan for Media 的信号源，从而为广播公司带来更大的灵活性。