2017下一代数据中心网络研究报告

2月2日，SDxCentral发布了2017下一代数据中心研究报告(2017 Next Gen Data Center Networking Report)。这份报告系统介绍了下一代数据中心网络的发展趋势、关键功能、典型案例、行业标准以及热门产品。

以下为脱水阅读，需要完整英文报告的，请点击阅读原文。

下一代数据中心演进的四大驱动力

1、业务竞争驱动：企业提升自身竞争力，对敏捷性、差异化和成本节约提出了新要求

Increased Competitiveness Driving Agility, Cost-savings, Differentiation in IT

2、内容流量驱动： 高速增长的视频和富媒体内容成为数据中心的新压力

Increased Consumption of Video and Media-rich Content

3、交付模式驱动： 云计算和移动化成为主流交付模式

Dominance of Cloud and Mobile Applications

4、工作负载驱动： 大数据分析和物联网日益重要，未来将成为数字化转型的关键手段。

Importance of Data - Big Data, IoT and Analytics

这部分开场白都是套话，没什么干货，就不详细翻译了

下一代数据中心对网络的关键需求

1、简单化、标准化和模块化

Simplification, Standardization and Modularity

数据中心运营者希望能够删减那些不必要的路由/交换功能，利用标准服务器提供网络优化，采用较少商用芯片数量构建更为简单的网络矩阵，同时将L4-L7的功能迁移到标准服务器上，这些需求，都与传统厂商的理念背道而驰。

LinkedIn、Facebook、Microsoft、Google等巨头已经开启模块化数据中心Pod之路，每个Pod都包含了标准化的网络架构，大规模利用成本低廉的商品化交换机，芯片也切换到BCM、Marvell和一些新兴芯片制造商(比如Barefoot、Cavium Xpliant和盛科)。

模块化的节点更易部署和替换，也提升了横向扩展能力，随着这种云服务商的带动，大型企业级市场也有这种趋势。

2、对虚拟化和容器的支持

Virtualization and Containers

在虚拟化和容器化盛行的时代，无论南北流量还是东西流量，都无法回避虚拟交换机的存在。人们希望虚拟交换机的支持，能像以前使用VLAN一样简单。

复杂的叠加网络环境造成各种标签混杂，比如来自与广域网的MPLS链接很有可能就被ToR交换机给终结掉了。

3、可编程能力

Programmability

为满足业务敏捷型和灵活性需求，网络可编程能力必不可少。上层业务必须能够实时控制底层网络，进行编排和优化。无论这些业务采用基于XML/JSON的RESTful接口，还是用P4编程或者Openflow协议控制，都需要网络设备本身能够“被集成”，与数据中心融为一体。

如今已经有越来越多的企业级网络产品可以被云管理平台(比如Openstack、VMware vRealize suite、Cloudstack)集成部署。网络被系统配置管理是大势所趋，甚至这种响应被要求是实时的。

4、自动化和DevOps/NetOps

Automation and DevOps/NetOps

可编程性让网络集成到编排系统成为可能，但是系统需要被部署、被监控、被更新，并非一劳永逸。传统情况下，网工最爱命令行CLIs，很多厂商提供过图形配置界面，但是很少能广泛应用的，大量的设备还是被“命令行”管理着。

但是，DevOps正在对网络行业产生影响，或者说我们需要NetOps来拯救。基于自动化配置工具(Ansible/Puppet/Chef等)，网工们也可以像管理服务器一样去管理网络基础设施了。

5、可视化与Troubleshooting

Improved Visibility and Troubleshooting

跨数据中心流量暴增以及Overlays的存在，让网络可视化变得尤为重要。可视化有理于快速定位网络延迟或者洞察流量突发。还需要具备对流量数据的收集和分析能力，用于排障、优化和安全防范，如果只有海量告警事件日志，那就只能抓瞎了。

另外，由于数据中心网络正在演进为基于ECMP的leaf-spine三层Fabric，保障所有数据的可达性非常关键，不要让“大象数据流”阻挡了“老鼠数据流”，“可视化”有助于让我们了解整个交换矩阵发生了什么，甚至细化到每个交换机端口的缓存利用率。

6、开放的硬件平台

Open Hardware Platforms

从成本和可配置性考虑，数据中心网络运营者越来越关注白盒或者其他开放硬件平台。有人相信，采用白盒，在硬件成本上可以节省30%-80%。由于这些白盒供应商同时也为品牌交换机厂商提供OEM/ODM服务，所以产品品质和可靠性不存在疑问。

时至今日，诸如EdgeCore等低成本白盒硬件供应商值得考虑，但你需要找到成熟的软件来支持。另外，像Dell、HPE和华为也提供白盒交换机，但是会提供他们自己的品牌软件，这种模式被称为“灰盒”(gray box)。

下一代数据中心网络演进

“老帮菜”数据中心网络长这样

由纯物理交换机/路由器组成，有主备或者双A设计，以南北流量为主。

“新生代”数据中心网络长这样

到了云时代，SDN和NFV参与进来，数据中心网络的边界定义被扩大，从服务器内部的虚拟网络到数据中心物理网络，再到数据中心互联网络。

在这样的数据中心里，四个关键组件必不可少：

• 虚拟交换机：满足服务器内部vm和容器的交换需求。

• 网络加速卡：智能网卡或加速器提供vSwitch卸载、安全以及存储加速

• ToR与Leaf/Spine：两层Clos架构再次得到推广，架构开放，扩展性强。（虽然这种架构早在1950年代就已经在电话交换网中使用了），大量的商用套片和白盒被应用在Leaf和Spine交换机中，降低成本，解决厂商锁定。

• 数据中心互联(DCI)：数据中心基于交换机就可以完成直连，DCI互联模块被直接集成到数据中心交换机上，比如100Gbps DWDM。L2 over L3的隧道技术也得到推广应用，还有我们不得不提的SDWAN。

下一代数据中心网络关键趋势

趋势1、解耦与白盒

Disaggregation and White box

解耦的意义包含两层，第一层：控制平面与数据平面结构，这是SDN的范畴；第二层：网络硬件与软件解耦，这是白盒和ONIE的范畴。

白盒交换机采用的商用套片通常来自于Broadcom(目前主流芯片如Trident II, Trident II+, Tomahawk等等)，这类白盒基于ONIE标准提供一个交换机启动环境，最终用户可以选择安装交换机OS，如 Big Switch的ONL、Apstra的Apstra OS、Cumulus Linux等等。

为保证网络与数据中心集成和可编程性，这些OS还提供了相应接口，包括OF-DPA (OpenFlow Data Plane Abstraction)、OpenNSL (Open Network Switch Layer) 以及 SAI (Switch Abstraction Interface)。前两个接口标准主要绑定Broadcom，而SAI出身于OCP，支持多个厂商的芯片(Broadcom, Cavium, Mellanox, Centec、Barefoot)。

在交换机OS之上，还有诸多为交换机管理和转发功能定制的“插件”，比如开源三层路由代码Quagga和BIRD，以及Facebook出品的FBOSS、微软Azure出品的SNOiC，开放的世界很精彩。

解耦的白盒阵营与传统的交换机贵族Cisco、Arista、Junper、Brocade还有很长的博弈时间，但是我们看到，戴尔、HPE、华为已经开始销售开放网络平台（灰盒）。而新进玩家Cumulus、EdgeCore、Pica8和其他ODM厂商也在努力推动白盒产业。

在OCP的推动下，新供应商们正在给市场带来更具性价比、更高性能的硬件产品，而开源团体也会在软件上持续努力，用廉价的开放产品去替代企业级市场那些高价货！

趋势2、虚拟化、Overlays和Openstack

Virtualization, Overlays and OpenStack

虽然Facebook声明他们的业务并不需要Overlays和计算虚拟化，(他们的应用被设计运行的物理服务器上)，但是Amazon、Google和Microsoft却是虚拟化和容器化的重度使用者。

在重度虚拟化应用场景，vSwitch必须保持高性能（基于硬件加速、DPDK、FDiO VPP等等），同时还需要支持Overlay的终结，VXLAN应该作为架顶交换机(ToR)的必选项：实现Overlays流量可视化、在VM和物理机混合接入环境下提供VTEP能力等等。

对于下一代数据中心网络来说，另一个重要考量是支持以Openstack为代表的CMP(cloud management platform)平台，提供部署、监控、管理接口，对于企业级运行环境，还应该支持VM热迁移的集成接口。

趋势3、支持ECMP的两层Clos-Fabrics

2-stage Leaf-spine Clos-Fabrics with ECMP and Pods

现代数据中心已经从老式胖树架构进化到两级L3 Leaf-spine Clos矩阵，基于ECMP提供多路径流量分担。这种架构抛弃了大型的机箱式核心交换机，用简单的Leaf-spine交换机实现部署低成本、高灵活。连老牌厂商Cisco、Juniper、Arista也开始拥抱Leaf-Spine，积极在企业级数据中心市场进行鼓吹推广。

而在全球最大的一些数据中心里面，Clos结构的网络被打包在“Pod”里面，通过横向扩展满足Pod巨量的连接需求(参见下文Facebook的Altoona数据中心)。

然而leaf-spine架构也有不爽之处，首先Leaf和Spine之间需要大量的网络连接，线缆维护复杂，替换和新增spine的时候，工作量是巨大的。其次，基于L3技术，VLAN受到Leaf交换机的限制，导致VM移动性不佳，这就必须依赖VXLAN之类的Overlay技术去解决，会增大开销。

由于Leaf和Spine之间的海量连接，要进行监控和排错很难，微软在其Azure数据中心里，采用了一种全量ping测试，被称为PingMesh。PingMesh本质上讲是一种强力的在所有端点之间运行Ping测试的方式，可视化的去显示任意两个端点之间的连接状况。

PingMesh已经在微软数据中心运行多年，每天要产生超过两千亿次探测。

趋势4、软件定义网络、策略、意图

SDN, Policy and Intent

当今数据中心网络之复杂，仅靠人肉运维是不可能的，SDN作为自动化工具，流行起来顺理成章。大型数据中心(如Goole和微软)，无论内部还是外部，都有各种形态的SDN存在，Goolge的 B4广域网，就是SDN最典型的案例之一。

在以云计算为核心的生产环境中，传统手工作坊式的网络配置、参数修改如同杯水车薪，应用需要基于CMP来自动化部署系统、优化参数，每个应用都有不同的配置文件、需要特定的网络支持以满足时延、弹性等QoS要求。这些需求会被绑定成策略集，自动化完成下发和部署。

Cisco ACI就是一个策略化(Policy-based)处理网络的商用案例，同样，OpenDaylight和ONOS等SDN控制器的目标，也是在网络部署中提供可编程策略。

基于策略分发，让我们正在向“意图型”网络(intent-based networking)演进：只需要“告诉我你想得到什么”，而不是“告诉我具体怎么做”，剩下的，交给SDN去干。

也许这就是智能网络的未来状态，让你从繁复的具体配置工作中解脱出来！

趋势5、大数据分析

Big Data and Analytics

下一代数据中心网络的典型应用场景是大数据分析，戏剧性的是，网络生成的数据流本身就是一个大数据用例。很多厂商和组织抓取这些数据，用于优化和潜在安全分析，初创公司Pluribus和Big Switch都在兜售他们的数据监控能力，而Cisco则推出了Tetration平台用于网络数据分析。

下一代数据中心网络成果和标准

1、互联网巨头们的实践

A 6-Pack of Wedge, Firehose, Watchtower, Pluto, Saturn, Jupiter, Altair, Olympus and more

引领数据中心变革的，是那些别无选择只能追求持续创新的互联网企业，Facebook、Google、微软、领英都在不断努力，他们内部的数据中心团队驱动着从架构、软件、硬件全方位演进。

• Google

Google的数据中心已经进化到第5代，从设计了却没用的“Firehose”，到“Watchtower”，再到 "Pluto" 和"Saturn"，直到今天使用的 "Jupiter"，最新保密设计并未对外公开。Google希望实现一个完整的内置网络的云基础设施，作为一个单元来设计。其目标是打造超过10000台Server的超级集群，将资源利用率发挥到极致。

• LinkedIn

LinkedIn的网络团队对自己的Altair项目和Falco项目非常自豪。Falco项目其实是基于BCM Tomahawk芯片打造的交换机，该交换机被命名为“鸽子”，提供3.2Tbps交换能力，可以作为Leaf或者Spine使用。“鸽子”运行基于Linux的软件系统，并集成了一大宗监控和管理工具。Altair项目则是一个大规模可伸缩的数据中心网络Fabric，用于替换传统网络。

• Facebook

Facebook是开放计算硬件的领导者，他们发起了的OCP，并贡献了Wedge和6-pack。
Wedge是一款ToR交换机，有40G和100G两种规格，全部贡献给了OCP项目，并且目前两款硬件都可以从第三方供应商EdgeCore买到。
6-pack是Facebook发布的开放式模块化交换机平台，它以Wedge为基本构件，是一个全网状且无阻断的两级（two-stage）交换机，内含12个独立的交换组件，每个组件的交换容量为1.28Tbps。每个组件也运行自己的操作系统，从交换、主板控制，到冷却系统都是独立的。这代表用户能够在不影响整体系统或软/硬件的前提下更改系统的任何部份，并藉由独特的双背板解决方案来打造无阻断的拓扑结构。

在数据中心层面，Facebook设计了Pod级别的模块——Altoona。Altoona设计可借鉴之处在于，你可以使用小型开放交换机构建你的数据中心，这个架构可以让你扩展到任何规模，而不需要改变基本构建块。

• Microsoft Azure

微软Azure的网络广泛使用了SDN技术，每个Azure节点都是用了基于FPGA的网络加速卡——Azure Smart NIC，用来加速流处理、存储进程、QoS以及加解密。Azure使用SDN控制每块加速卡上的流表和规则，保障Azure节点的高性能吞吐。
微软同时也在云交换机领域也在驱动创新，是SAI和SONiC(Software for Open Networking in the Cloud)的应用先锋。SONiC是一个网络软件组件集合，包含了交换机常备的BGP、ECMP、LLDP等功能，得到了大量硬件供应商的支持，这里面包括了Arista(微软是A公司最大的客户之一)、BigSwitch、Dell、Mellanox，以及芯片厂商BCM、Cavium和盛科。

2、Linux基金会及相关项目

Linux Foundation and its associated projects

项目很多，就不一一详述了，统一列在这里

3、OCP和TIP

Open Compute Project (OCP) and Telecom Infra Project (TIP)

下一代数据中心网络最主要的推动者就是OCP，该项目由Facebook发起，目前获得了业内广泛的支持。从互联网巨头LinkedIn、 Microsoft、Google，到运营商AT&T、Fidelity和DT 再到设备商Cisco、Dell,、Huawei、HPE、Intel、 Ericsson等等。下图为OCP白金会员列表。

OCP是数据中心关键硬件方案之家，包括高密度机架(Open Rack)、服务器(Microsoft OpenCloudServer和Facebook Yosemite)、网络平台(Wedge 40 100 6-pack)。OCP还是ONIE、ONL、SAI、SONiC这些核心网络软件项目的老巢。

作为OCP的补充，Facebook在2016年又成立了TIP项目(Telecom Infra Project)，推动运营商基础设施的变革和演进，替换传统网络架构。TIP的成员包括Intel、Nokia、德电、SK电信、沃达丰、 T-Mobile以及思科Juniper等。

下一代数据中心网络产品巡礼

最后这部分我认为是SDxCentral为其赞助商提供的广告展示区，简单罗列一下——

需要下载完整报告的，请点击阅读原文

或者公众号后台回复“NGDCN”