网易首页 > 网易号 > 正文 申请入驻

Akamai AI推理可降低60%推理时延,李昇:高度分布式架构带来的优势

0
分享至

【TechWeb】5月12日消息,近几年,在连续完成收购Linode等后,Akamai已经成功转型为一家云服务(公有云)、安全服务和CDN服务三位一体的全球最分布式的计算平台。

截至目前,Akamai在全球130个国家拥有1200多个运营商网络、有超过4000个边缘节点、26个核心云计算节点和10个分布式节点。

随着生成式AI应用数量的爆发式增长,近期,Akamai也推出了AI推理解决方案,旨在加速人工智能推理工作负载,优化效率和成本。

Akamai副总裁暨大中华区总经理李昇表示:“随着AI应用被广泛使用,未来在推理方面的计算需求可能是训练方面需求的十倍、甚至更多,同时,大量推理需求将在边缘发生,这些AI推理需求当中更需要分布式的、低延时的、灵活部署的基础架构。Akamai高度分布的架构设计极具优势,在这一波新的浪潮当中更加适应,也更能够帮助客户快速地在就近于他们用户的地方部署生成式AI模型。”

Akamai副总裁暨大中华区总经理 李昇

Akamai亚太区云计算专家团队负责人李文涛介绍:“Akamai AI推理服务帮助企业提供了高达3倍的推理吞吐能力,降低了高达60%的推理时延,并且相比于同等的传统云计算厂商的基础设施可以帮助客户降低使用成本高达86%之多。”

Akamai亚太区云计算专家团队负责人 李文涛

据介绍,Akamai AI推理解决方案包括四个部分:

一、经典的计算产品线,包括CPU的虚机、GPU的虚机、专属芯片的VPU虚拟机,从不同的层面、不同的维度,帮助客户提供了AI推理的选择。与英伟达、支持英伟达AI的生态系统合作,包括提供对TensorRT这样推理运行环境的支持,以及对丰富的AI模型的支持。

二、数据管理,AI无论是训练还是推理都离不开实时的数据处理能力。Akamai和业界领先的分布式数据平台VastData合作,结合自身全球分布式的边缘云平台帮助企业的AI模型利用实时的数据去加速AI推理服务。包括实时优化AI模型,RAG(Retrieval-Augmented Generation)技术都需要AI模型可以实时获取到相关推理数据,Akamai和VastData的合作帮助客户可以大大提升其交付低时延AI的能力,并且能够提升优化模型的效率。

三、容器化服务。Akamai的LKE企业版,采用托管式的K8s服务,可帮助客户运行在容器化的环境来支持其推理服务。

四、边缘云计算和网络能力。由于Akamai的云平台和骨干网是集成的,所以可以大大降低面向最终用户推理的时延、数据传输时延、提高吞吐效率,并且Akamai在边缘云计算还有一个合作伙伴Fermyon,它提供了WebAssembly(WASM)的支持,这样可以帮助客户在边缘构建无服务器应用来支持其AI推理。

李文涛强调:“因为Akamai边缘的时延基本上是处于互联网的最后一跳,也就是说Akamai离最终用户只有一个网络跳,只有10毫秒到数10毫秒的时延,Akamai可以很好的帮助AI企业解决‘最后一公里”时延的问题’。”

此外,李昇还透露,除了帮助用户在边缘侧快速部署AI模型之外,Akamai也在持续研发和提升这些AI模型的安全能力。Akamai在今年5月的“RSA Conference”上正式发布了Akamai基于AI的防火墙,帮助用户保护其AI模型、防止其AI模型遭到恶意的攻击,包括资源消耗型的攻击、以及恶意的Token注入攻击等。

李昇总结道:“Akamai在中国的业务主要是帮助中国企业‘出海’。在助力客户有效执行和部署他们的AI战略方面,Akamai将在帮助用户有效地部署AI模型的同时确保模型的安全性。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
导演只是请窦骁来演个纨绔子弟,不想他一出场,翟子路20集白演了

导演只是请窦骁来演个纨绔子弟,不想他一出场,翟子路20集白演了

童叔不飙车
2026-05-22 15:45:45
世界田联钻石联赛厦门站:吴艳妮13秒06获得第8名,刘景扬第10名

世界田联钻石联赛厦门站:吴艳妮13秒06获得第8名,刘景扬第10名

侧身凌空斩
2026-05-23 21:06:51
贺龙含冤离世:周总理誓言彻查,找到凶手后却无奈叹息算了吧

贺龙含冤离世:周总理誓言彻查,找到凶手后却无奈叹息算了吧

芊芊子吟
2026-05-23 18:25:07
苏州拙政园“鸟啄樱桃”火出圈,网友感叹仿佛误入古代工笔画中,工作人员:这两天还可观赏

苏州拙政园“鸟啄樱桃”火出圈,网友感叹仿佛误入古代工笔画中,工作人员:这两天还可观赏

极目新闻
2026-05-19 12:41:42
突变!美联储,加息大消息

突变!美联储,加息大消息

数据宝
2026-05-24 08:09:19
大陆警告话音刚落,不到24小时,美对华摊牌:要让台湾尽可能强大

大陆警告话音刚落,不到24小时,美对华摊牌:要让台湾尽可能强大

泠泠说史
2026-05-23 22:01:32
最后20票,台岛投票结果出炉,郑丽文愤怒拍桌,人民日报敲响警钟

最后20票,台岛投票结果出炉,郑丽文愤怒拍桌,人民日报敲响警钟

妙知
2026-05-23 04:14:13
最后20票,台岛投票结果出炉,郑丽文愤怒拍桌,人民日报敲响警钟

最后20票,台岛投票结果出炉,郑丽文愤怒拍桌,人民日报敲响警钟

傲傲讲历史
2026-05-24 01:43:11
“你找媒体,我们就不帮你了”:30多万买的问界,12天增程器坏了

“你找媒体,我们就不帮你了”:30多万买的问界,12天增程器坏了

番外行
2026-05-21 15:54:40
总统家属被扣押,24小时内10国接连发声,以色列这回骑虎难下

总统家属被扣押,24小时内10国接连发声,以色列这回骑虎难下

观史搜寻着
2026-05-22 14:11:09
上海发布雷电黄色预警

上海发布雷电黄色预警

界面新闻
2026-05-24 07:34:37
刚刚!黄仁勋闪电抵台!

刚刚!黄仁勋闪电抵台!

EETOP半导体社区
2026-05-23 18:38:15
突然改口!比亚迪大唐推迟上市,10万盲订车主集体纠结

突然改口!比亚迪大唐推迟上市,10万盲订车主集体纠结

娱乐圈的笔娱君
2026-05-23 00:43:22
日本国脚铃木淳之介:没想到我能在短短一年内登上世界杯赛场

日本国脚铃木淳之介:没想到我能在短短一年内登上世界杯赛场

懂球帝
2026-05-23 18:30:40
成都男子挂车低俗标语博眼球,破坏公序良俗,已被依法处罚。

成都男子挂车低俗标语博眼球,破坏公序良俗,已被依法处罚。

周哥一影视
2026-05-24 00:35:36
北师大男生拒绝插空上桌吃饭,透露出的不是男女对立,是老师的无能!

北师大男生拒绝插空上桌吃饭,透露出的不是男女对立,是老师的无能!

人间运行手册
2026-05-23 08:01:42
一定要多读书,书读的多了才会明白:“底层无贵人、底层无社交”

一定要多读书,书读的多了才会明白:“底层无贵人、底层无社交”

心理观察局
2026-05-24 06:57:19
颠覆认知!硅谷摆摊卖菜山东大娘,儿子真实职业曝光,果然不简单

颠覆认知!硅谷摆摊卖菜山东大娘,儿子真实职业曝光,果然不简单

一盅情怀
2026-05-23 14:24:21
你在无意中发现别人什么秘密?网友爆料,电视剧都不敢这样演

你在无意中发现别人什么秘密?网友爆料,电视剧都不敢这样演

夜深爱杂谈
2026-03-16 22:21:03
为什么很多人宁愿死守油车也不换电车?仅仅这几点,就足以劝退

为什么很多人宁愿死守油车也不换电车?仅仅这几点,就足以劝退

老赳说历史
2026-05-23 03:33:00
2026-05-24 09:40:50
TechWeb incentive-icons
TechWeb
做有态度的互联网资讯。
18023文章数 43097关注度
往期回顾 全部

科技要闻

我戴着摄像头上班,正在帮AI抢走我饭碗

头条要闻

牛弹琴:特朗普宣布大消息后发地图 伊朗被星条旗覆盖

头条要闻

牛弹琴:特朗普宣布大消息后发地图 伊朗被星条旗覆盖

体育要闻

少年意气,正在改变中国足球

娱乐要闻

《浪姐7》三公,王濛赢麻了,张月实惨

财经要闻

爆炸致82人遇难 留神峪煤业存违法行为

汽车要闻

2027款星途瑶光上市 把"全球车"标准卷进13万级市场

态度原创

家居
健康
手机
教育
时尚

家居要闻

低调传承 温润沉静

外泌体 ≠ 生长因子!它们之间究竟有何区别?

手机要闻

苹果内部测试iOS 26.5.1系统版本,预计最快下周推送

教育要闻

四部门明确中小学办学20条底线要求 其中在教学设施装备方面,要求学生1人1桌1椅、座椅有靠背

初夏少不了一条白色长款连衣裙,真是温柔白月光,百搭不出错

无障碍浏览 进入关怀版