NoC，面临挑战

公众号记得加星标⭐️，第一时间看推送不会错过。

如今的片上网络就像一个复杂的高速公路交叉口，有多条匝道通往不同的主干道。这里的交通流量就是数据，而且比以往任何时候都多的数据被捕获、生成和分析。

实时人工智能驱动的分析给芯片网络带来了额外的压力，这些网络需要在处理器和内存之间快速地来回传输数据。为了应对这一挑战，设计人员正在开发新的、日益复杂的片上网络 (NoC) 拓扑结构和芯片间互连架构，以确保所有数据都能在正确的时间准确地传输到所需位置。但这同时也带来了一些新的挑战。

Synopsys接口IP产品管理总监Priyank Shukla表示：“这个领域正在发展壮大，因为我们拥有大量数据。这催生了新的技术，例如将数据从加速器连接到内存，从而促进了我们领域的创新。”

根据设计人员处理的是片上系统 (SoC)、多芯片系统还是芯片组，架构挑战的权重有所不同，但所有配置都存在一些共同的担忧。

ChipAgents首席执行官 William Wang 表示： “最难的问题是可扩展性、拥塞管理、流量公平性、延迟可预测性以及在日益异构的 IP 模块中实现时序收敛。”

从SoC架构的角度来看，最复杂的问题都是同时扩展的。“这正是它们难就难在的地方，” Arteris产品管理和市场营销副总裁Andy Nightingale说道。“随着SoC扩展到成百上千个端点，你不再只是连接模块。你需要在严格的功耗、延迟和布局限制下管理一个动态的流量系统。布线拥塞、时序收敛和性能与拓扑结构和布局密不可分。缓存一致性和流量排序直接影响服务质量（QoS）和最坏情况下的延迟。CPU、GPU、NPU、加速器和芯片组的异构集成，会成倍增加时钟域、功耗域和协议域。”

人工智能设计加剧了其中一些挑战。“网络架构必须能够吸收突发性、高扇入流量，同时避免出现队头阻塞或病态拥塞，”Nightingale说道。“这就是为什么现代片上网络（NoC）已经远远超越了简单的交叉开关或环路。网络架构必须被设计成一个可扩展的系统，而不是在真正的IP完成后才被当作粘合剂逻辑来处理。”

每个问题和解决方案都会相互影响，需要权衡取舍。“例如，提高层密度可以提升性能，但也会增加物理设计的难度，” Baya Systems的首席解决方案架构师 Kent Orthner 说。“有一个问题尤为突出——它未必是最难的，但或许能解决其他问题——那就是异构性。”

由于尖端硅芯片尺寸缩小的问题，工程师们正在为最终应用定制网络解决方案，而不是构建通用解决方案。

“虽然困难重重，但异构设计在很大程度上帮助了我，这意味着你不会试图用同样的方式处理所有事情，”Orthner说道。“你会设计出不同类型的处理器、不同类型的计算能力、不同类型的网络和拓扑结构，所有这些都可能集成在同一个SoC中，以解决不同类型的问题。”

异构性虽然解决了一些问题，但也带来了集成方面的挑战。“大多数组织都在将人工智能加速器和实时控制工作负载叠加到原本就无法应对如此高异构性和并发性的传统平台上，”Nightingale说道。“这促使人们将片上互连视为实时系统架构，而非被动传输。早期架构探索、物理感知自动化和策略驱动的数据路由正被用于管理不断增长的数据量，同时保持可预测性和安全性。”

不同的拓扑结构应对不同的挑战

为了满足不断变化的数据需求，片上网络（NoC）的拓扑结构已经从交叉开关结构演变为星形、环树形、网状、环面形以及其他更新的结构。一个复杂的系统可以包含多个具有不同拓扑结构的NoC。

ChipAgents公司的王表示：“我们看到混合型网络架构融合了网状结构、环形结构和分层集群，并结合了soft-tiled片域、可配置的相干岛和自适应路由，以平衡带宽和功耗。在不久的将来，我们预计会出现动态的、自优化的网络架构，它能够根据工作负载模式进行代理驱动的流量调优、拥塞预测和运行时拓扑结构变形。”

图 1：传统 SoC 互连结构

最新的方法明确地体现了多维性。“我们支持在同一片上系统 (SoC) 中同时使用不同的拓扑结构——树状、网状、混合型和特定领域的结构——因为没有一种拓扑结构在所有情况下都是最优的，”Nightingale 指出。“对于 CPU 集群而言，一致性结构至关重要，因为软件一致性、共享内存和细粒度同步是其核心要素。对于 NPU、DSP 和流式加速器而言，带宽、确定性和能效比全局一致性更为重要，因此非一致性结构通常是首选。软分块和分层结构允许设计人员在控制时序和布线复杂性的同时扩展容量和带宽。系统级流量管理（包括虚拟网络、QoS、隔离和拥塞感知）确保单个高负载工作负载不会影响芯片的其他部分。我们的目标并非追求理论上的优雅，而是在大规模应用下实现可预测的行为，即使流量模式复杂多变。”

图 2：用于 AI/ML 的片上网络 (NoC) 模块，包含网络接口单元 (NIU)，以寄存器传输级 (RTL) 呈现

然而，新的问题需要新的拓扑结构。“我们正在尝试在芯片上的二维空间内解决的关键问题之一是，我们能否创造出前所未有的全新拓扑结构，”Baya Systems 的首席解决方案架构师 Saurabh Gayen 表示。“我们如何进行高度算法化的、基于软件的硬件设计？这种设计方式是一种自顶向下的视角。你会从整体上审视系统，思考‘我希望整个系统最终呈现出什么样的样子？’但随后你又会从自底向上思考，因为这最终需要实际构建。那么，你必须具备哪些组件？软件定义流程利用了以前无法使用的工具。我们能够利用这些探索工具在内部创造出全新的拓扑结构，从而在二维芯片内实现三维架构。”

图 3：二维芯片内的三维架构

此外，某些类型的集成电路只适用于特定的拓扑结构。“例如，所有大型厂商都在生产的以太网交换机，唯一适用的拓扑结构是交叉开关，”盖恩说道。“交叉开关的问题在于其扩展性极差。在交换机上连接大量端口的交叉开关极其昂贵且极其复杂。”

其他芯片或许也能从定制解决方案中受益。“如果你在进行机器学习推理，你会反复遇到一些非常具体的数据模式，你可以设计网络来支持这些模式，”Orthner解释道。“我们鼓励针对特定应用来定义拓扑结构。想象一下，你在某个角落里放置了一堆高性能计算核心。你可能需要一种拓扑结构来支持该角落的大量连接。但是，在进行网络配置时，由于不再受相同的约束，拓扑结构可能会更加线性。每个设计都需要定制拓扑结构，而不是像网状或环面这样的特定术语。我们正在看到一类有趣的设计。”

选择取决于供应商以及他们如何选择优化其系统。“AHB（高级高性能总线）是最早的片上网络之一，也是一种并行总线，” Cadence公司芯片和IP解决方案高级产品营销集团总监Mick Posner说道。接下来是 AXI（高级可扩展接口），它采用点对点连接，需要大量的线缆，这在性能方面表现出色——但例如，当需要跨越整个单芯片时，情况就不尽如人意了。如此多的并行线缆会造成问题，因此出现了真正的片上网络（NoC），它采用更多的串行连接，NoC 上的线缆数量极少。之后，这种技术被扩展到芯片间通信，现在又被应用于芯片与芯片之间的通信。这种拓扑结构基于架构层面的选择。你可以自由组合搭配。如今，我们仍然经常看到这样的场景：例如，一个新的 NoC 带有一个 AHB 端口，可以驱动另一个带有标准 APB（高级外设总线）外设的 AHB NoC，以低速运行。我在 Synopsys 工作时负责 AMBA（高级微控制器总线架构）外设，令人惊讶的是，30 年后，我发现整个产品线仍然活跃。我曾经驱动的那些产品，如今依然存在。二十多年前，我才刚刚被收养。

不同的芯片，不同的问题

所有片上网络都是网络结构，但并非所有网络结构都是片上网络，需要全方位的技术来应对不同的芯片挑战。

Synopsys 的 Shukla 表示：“Fabric 是一个通用术语。有 FPGA 架构，有片上架构，还有网络架构。谈到超大规模数据中心时，他们把整个平台称为一个架构。他们指的是一整排加速器就是一个架构。那么，它们之间是如何通信的呢？”

多芯片设计讨论通常围绕网络展开。“大多数人谈到网络时，想到的就是GPU、CPU和数据中心，以及连接它们的电线，”Baya公司的Gayen说道。

片上网络也包含内核、内存和加速器，它们需要相互通信，但与数据中心不同的是，片上网络没有线缆。“你没有三维空间，”盖恩解释说，“你只有二维空间，所以片上网络的拓扑结构通常是可以在这个空间内分层构建的，这样就能获得非常好的性能，而无需像在三维数据中心空间中那样铺设线缆。尽管两者基于非常常见的网络理论，但观察它们之间的差异以及问题是如何解决的，仍然非常有趣。”

快速增长的应用领域，例如机器人、无人机或车辆等物理人工智能系统，也面临着独特的挑战。“物理人工智能系统与现实世界进行持续的闭环交互——在严格的实时性和安全性约束下，将感知、计算和执行功能结合起来，”Nightingale说道。“在这些系统中，数据延迟或路由错误不仅效率低下，而且可能存在安全隐患。因此，数据管理需要涵盖确定性延迟、流量隔离和故障控制，以确保安全关键的控制流免受尽力而为的人工智能流量的影响，并避免因访问不均而导致的数据泄露或偏差。”

在芯片的某个领域中构成重大网络挑战的问题，在另一个领域中未必如此。例如，相干性适用于某些系统，但不适用于其他系统。

“随着SoC越来越复杂，一致性问题确实是一个棘手的挑战，”Gayen说道。“在SoC中，性能常常受限于协调所有与一致性相关的细节。这确实会拖慢速度，让你无法达到极高的性能水平。”

AI芯片绕过了数据一致性问题。“它们没有内置的一致性协议，所以这不是它们面临的挑战，因为它们通过基于软件的一致性或数据流的算法方法来处理这个问题，”Gayen说道。“对它们来说，挑战在于如何平衡片上网络（NoC）的卓越性能与分配给计算或缓冲的资源之间的关系。”

交换机则完全属于另一个领域，它们正在挑战物理极限。“它们只是想方设法在工程团队能够实际操作和构建的前提下，尽可能多地塞进线缆，”他继续说道。“它们面临的最大挑战是如何实现极致的性能。交换机注重无阻塞特性，通过增加空白区域和布线来解决问题，但它们对性能的要求却更加严格。线缆密度变得至关重要。而如此庞大的片上网络（NoC）设计或大型交叉开关设计的工程成本，才是真正的挑战所在。”

由于人工智能芯片位于复杂的片上系统 (SoC) 和交换机之间，它们并不像传统芯片那样注重硬件层面的一致性，也不追求完全的带宽，而是通过大量布线来解决巨大的性能问题。“他们想要的是一种既像 SoC 又像交换机的东西。他们可能会采用 SoC 类型的设计，然后通过增加更多并行布线层来扩展其规模，从而实现 2 倍、4 倍甚至 8 倍的带宽分配，但真正追求的是超越 SoC 的原始性能，”Gayen 说道。

此外，这些领域之间还有一个共同点——对数据永无止境的渴求。“每个人都希望更高效地传输数据，”奥斯纳说。

其他人也认同，下一代拓扑结构将是具有更强层级性和适应性的混合型结构。“未来的网络结构将不再像单一的命名形状，而更像是一个组合系统——局部优化，全局协调——旨在与封装、芯片和人工智能工作负载共同演进，而不是与之对抗，”Arteris公司的Nightingale表示。“我们的目标是让网络结构不再成为问题，即使芯片尺寸不断增大。”

图 4：专家用户（手动）与片上网络 IP（自动）在实际设计中的对比

芯片组面临的挑战

与SoC类似，芯片组片上网络（NoC）也需要围绕一致性做出决策。在芯片组内部，各个子系统各自承担不同的功能。“它可以是LPDDR内存子系统，也可以是PCIe子系统，但每个子系统都有自己的NoC来促进其内部的通信，”Cadence公司的Posner说道。 “那么，可能会有一个更高级别的片上网络（NoC），允许子系统之间进行通信。在这种情况下，我们的芯片组是非一致性的。它不需要任何缓存一致性，而CPU到CPU的连接则需要缓存一致性。CPU供应商通常会提供一致性NoC。此外，还有第三方提供一致性和非一致性NoC。这取决于你要连接的对象。如果你要设计一个CPU芯片组，那么你必须使用一致性NoC，因为你很可能需要通过部署多个相同的芯片来扩展性能，从而实现CPU的扩展。这需要缓存一致性。但如果你要从CPU连接到加速器，那么通常只需要I/O一致性。这也决定了所使用的NoC类型。”

芯片组增加了数据处理的挑战。“在系统中，尤其是在高速I/O的情况下，你必须考虑如何管理芯片间的通信，”是德科技EDA高速数字设计部门负责人李熙洙（Hee Soo Lee）表示。“当我们考虑数据时，所有这些微小的芯片组都是连接的。你如何才能在满足高带宽要求的同时，管理芯片间的延迟，尤其是在这么多微小芯片组的情况下？数据是主要问题之一。在为这些芯片供电的同时，你能否保证数据的清晰度？你需要确保整个I/O总线上的信号畅通无阻，避免相互干扰，从而防止出现闭眼或系统裕量缩小。此外，保持系统低温运行也是一项非常艰巨的挑战。”

I/O芯片带来了更多需要考虑的问题。“如果将核心芯片与I/O芯片分开，应该共享数据结构，还是应该由SoC拥有数据结构，而I/O芯片只负责传递数据？”Shukla指出。

总体而言，芯片组方案更为复杂，因为它会导致系统整体规模更大。“将多个芯片组组合在一起，所能构建的系统规模会不断扩大，”Baya 公司的 Orthner 表示。“此外，使用芯片组时会出现一定程度的运行时可配置性，这是传统 SoC 所不具备的。”

结论

在当今环境下，随着人工智能需求的不断增长，数据量增加，网络运营中心 (NoC) 和面料设计师需要考虑很多因素，同时也导致网络拥堵加剧。

一个关键的转变是，人工智能工作负载已经不再适用于“平均情况”假设。Arteris 公司的 Nightingale 表示：“训练需要大规模地保证持续带宽、多播效率和内存一致性。推理——尤其是在边缘端——则需要有限且可预测的延迟。在这两种情况下，数据质量和正确性不再仅仅是软件问题。当内存流量消耗掉 80% 到 90% 的推理时间或动态能量时，拥塞、时间波动或静默的数据损坏都会直接影响模型行为和系统结果。”

最后，网络问题和数据瓶颈的影响正变得愈发关键。“随着人工智能从数字推理发展到物理的、现实世界的交互，数据管理故障不再只是轻微地降低性能，”奈廷格尔说道，“它们会直接导致精度下降、安全风险或系统无法扩展。设计确定性、可观察性和适应性的数据传输方式已不再是可选项，而是基础性要求。效率源于严谨的管理。”

（来源： 编译自semiengineering ）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4360内容，欢迎关注。

加星标⭐️第一时间看推送

求推荐