DeepSeek致谢腾讯!深企杭企这波联动火了
近日,腾讯技术团队针对DeepSeek开源的DeepEP通信框架进行深度优化,使其在多种网络环境下均实现显著性能提升。经测试,优化后的通信框架性能在RoCE网络环境提升100%,IB网络环境提升30%,为企业开展AI大模型训练提供更高效的解决方案。相关技术方案获得了DeepSeek公开致谢,称这是一次“huge speedup”代码贡献。
自今年2月DeepSeek开源包括DeepEP在内的五大代码库以来,该团队便向业界展示了如何利用有限的硬件资源实现接近万卡集群的性能。在这些技术中,DeepEP凭借突破性的方法提升了300%的通信效率,成功解决了MoE架构大模型对英伟达NCCL的依赖问题。
但该技术在成本较低、适用面更广的RoCE网络环境中表现不佳,限制了其在更广泛场景的应用。这一痛点引发了开源社区的持续讨论。
腾讯星脉网络团队基于在RoCE网络领域的深厚积累,在DeepEP开源后便展开技术攻关,发现两大关键瓶颈:一是对于双端口网卡带宽利用率不足,二是CPU控制面交互存在时延。
腾讯在RoCE网络优化方面的突破,首先体现在带宽分配的智能化,通过拓扑感知的多QP建链技术,智能分配数据流,优化了双端口网卡的带宽利用率,确保每条数据通道都能得到充分使用。此举有效避免了带宽浪费,为RoCE网络的性能提升提供了有力支撑。
其次,腾讯还着力解决了GPU通信中的CPU控制瓶颈问题。通过基于IBGDA技术的优化,腾讯使得“控制面”场景的操作也可以绕过CPU的“中转”,进一步降低了延迟和能耗,提升了整体通信效率。
同时,GPU直接“对话”时存在的传输顺序混乱难题,腾讯提出了“QP内时序锁”机制,使得多个GPU间的数据传输能够精准、按顺序完成,即使同时处理1000多个数据传输任务,DeepEP也能自动理顺先后顺序。
在腾讯的技术优化下,DeepEP不仅在RoCE网络实现性能翻倍,反哺到IB(InfiniBand)网络时更使原有通信效率再提升30%。
腾讯工程师在不同节点服务器上的测试数据
目前该技术已全面开源,并成功应用于腾讯混元大模型等项目的训练推理,在腾讯星脉与H20服务器构建的高性能环境中,这套方案同样展现出卓越的通用性。
(内容来源:极目新闻、第一财经、界面新闻、IT之家)
鸿蒙电脑亮相深圳!国产操作系统实现重大突破
5月8日
华为公司在深圳举办
鸿蒙电脑技术与生态沟通会
标志着搭载鸿蒙操作系统的
“鸿蒙电脑”正式亮相
国产操作系统
在个人电脑(PC)领域
实现重要突破
据了解,鸿蒙电脑历经5年布局,集结上万名工程师、联合20多家研究所共同研发,积累超过2700项核心专利。鸿蒙电脑搭载HarmonyOS 5,从内核开始重构操作系统。
此外,鸿蒙电脑还将AI和智慧交互等功能引入操作系统,带来更加智慧流畅的操作体验。目前,已有300多个融合生态应用完成适配,预计今年底将有超过2000个应用完成适配。
据了解,鸿蒙操作系统是由华为开发的全场景智能操作系统,于2015年立项,用不到10年的时间走完了同行30年的历程。2019年,华为公司正式对外发布鸿蒙操作系统,2021年该系统正式搭载到智能手机上。
近年来,该系统在创新中不断演进。2023年9月,华为宣布全面启动鸿蒙应用,这意味着鸿蒙操作系统将完全使用自主“内核”,在开发过程中不再依赖其他操作系统的开放源代码。目前,鸿蒙操作系统生态设备突破10亿台。鸿蒙操作系统注册开发者达到720万,代码超过1.1亿行,并实现从操作系统内核、文件系统,到编程语言、人工智能框架和大模型等全部实现自研。
小艺首次登录鸿蒙电脑
据悉,通过系统级的AI能力,小艺在鸿蒙电脑上成为无处不在的系统级智能助理:
配合第三方应用,小艺文档助理搞定好用的PPT就是一句话的事情;
小艺知识空间能从本机全盘文档中摘取用户所需的信息,并直接给出答案和总结;
小艺慧记可以提供会议纪要转写和摘要总结,会议托管能还能跨端提醒。
此外,依托分布式软总线技术,鸿蒙电脑带来了自然、无缝、无感的跨设备互联体验,支持与华为手机、电脑、平板三设备键鼠共享。
通过手眼同行、跨设备互通、应用接续、华为分享,能实现华为手机、平板与电脑之间的无缝衔接,极大提升办公效率。并以软硬芯云垂直整合架构重塑电脑体验,应用秒开、文件秒开、交互跟手丝滑,带来更加智慧高效、流畅安全的使用体验。
(来源:人民日报、深圳特区报)
来源: 深圳梦 (微信号ID:SZeverything) 综合
我们的使命是:星辰大海,只与梦想者同行!
拥有深圳梦,请关注(微信号ID:SZeverything)
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.