网易首页 > 网易号 > 正文 申请入驻

Akamai AI推理可降低60%推理时延,李昇:高度分布式架构带来的优势

0
分享至

【TechWeb】5月12日消息,近几年,在连续完成收购Linode等后,Akamai已经成功转型为一家云服务(公有云)、安全服务和CDN服务三位一体的全球最分布式的计算平台。

截至目前,Akamai在全球130个国家拥有1200多个运营商网络、有超过4000个边缘节点、26个核心云计算节点和10个分布式节点。

随着生成式AI应用数量的爆发式增长,近期,Akamai也推出了AI推理解决方案,旨在加速人工智能推理工作负载,优化效率和成本。

Akamai副总裁暨大中华区总经理李昇表示:“随着AI应用被广泛使用,未来在推理方面的计算需求可能是训练方面需求的十倍、甚至更多,同时,大量推理需求将在边缘发生,这些AI推理需求当中更需要分布式的、低延时的、灵活部署的基础架构。Akamai高度分布的架构设计极具优势,在这一波新的浪潮当中更加适应,也更能够帮助客户快速地在就近于他们用户的地方部署生成式AI模型。”

Akamai副总裁暨大中华区总经理 李昇

Akamai亚太区云计算专家团队负责人李文涛介绍:“Akamai AI推理服务帮助企业提供了高达3倍的推理吞吐能力,降低了高达60%的推理时延,并且相比于同等的传统云计算厂商的基础设施可以帮助客户降低使用成本高达86%之多。”

Akamai亚太区云计算专家团队负责人 李文涛

据介绍,Akamai AI推理解决方案包括四个部分:

一、经典的计算产品线,包括CPU的虚机、GPU的虚机、专属芯片的VPU虚拟机,从不同的层面、不同的维度,帮助客户提供了AI推理的选择。与英伟达、支持英伟达AI的生态系统合作,包括提供对TensorRT这样推理运行环境的支持,以及对丰富的AI模型的支持。

二、数据管理,AI无论是训练还是推理都离不开实时的数据处理能力。Akamai和业界领先的分布式数据平台VastData合作,结合自身全球分布式的边缘云平台帮助企业的AI模型利用实时的数据去加速AI推理服务。包括实时优化AI模型,RAG(Retrieval-Augmented Generation)技术都需要AI模型可以实时获取到相关推理数据,Akamai和VastData的合作帮助客户可以大大提升其交付低时延AI的能力,并且能够提升优化模型的效率。

三、容器化服务。Akamai的LKE企业版,采用托管式的K8s服务,可帮助客户运行在容器化的环境来支持其推理服务。

四、边缘云计算和网络能力。由于Akamai的云平台和骨干网是集成的,所以可以大大降低面向最终用户推理的时延、数据传输时延、提高吞吐效率,并且Akamai在边缘云计算还有一个合作伙伴Fermyon,它提供了WebAssembly(WASM)的支持,这样可以帮助客户在边缘构建无服务器应用来支持其AI推理。

李文涛强调:“因为Akamai边缘的时延基本上是处于互联网的最后一跳,也就是说Akamai离最终用户只有一个网络跳,只有10毫秒到数10毫秒的时延,Akamai可以很好的帮助AI企业解决‘最后一公里”时延的问题’。”

此外,李昇还透露,除了帮助用户在边缘侧快速部署AI模型之外,Akamai也在持续研发和提升这些AI模型的安全能力。Akamai在今年5月的“RSA Conference”上正式发布了Akamai基于AI的防火墙,帮助用户保护其AI模型、防止其AI模型遭到恶意的攻击,包括资源消耗型的攻击、以及恶意的Token注入攻击等。

李昇总结道:“Akamai在中国的业务主要是帮助中国企业‘出海’。在助力客户有效执行和部署他们的AI战略方面,Akamai将在帮助用户有效地部署AI模型的同时确保模型的安全性。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“SpaceX没说,但所有线索都指向中国”

“SpaceX没说,但所有线索都指向中国”

观察者网
2026-06-12 09:23:04
高盛跑了2万场比赛数据后发现:2026世界杯冠军,大概率是它!

高盛跑了2万场比赛数据后发现:2026世界杯冠军,大概率是它!

虔青
2026-06-12 08:24:15
“好吃到不对劲!”消费者因饼干太好吃而引发怀疑,配料表完全对不上!当地市监局介入

“好吃到不对劲!”消费者因饼干太好吃而引发怀疑,配料表完全对不上!当地市监局介入

极目新闻
2026-06-12 06:54:56
三大运营商终于作“死”了自己

三大运营商终于作“死”了自己

细雨中的呼喊
2026-06-10 23:49:50
私生活混乱,从央视主持到劳改犯,如今靠直播打赏讨生活

私生活混乱,从央视主持到劳改犯,如今靠直播打赏讨生活

素衣读史
2026-06-11 21:56:30
中央开始严查,多地机关事业单位大整顿启动,这几类人受影响最大

中央开始严查,多地机关事业单位大整顿启动,这几类人受影响最大

职场资深秘书
2026-06-12 14:47:02
53岁裴勇浚带娃近照太震撼!零皱纹还是帅 韩网热议:保养很好

53岁裴勇浚带娃近照太震撼!零皱纹还是帅 韩网热议:保养很好

ETtoday星光云
2026-06-12 13:06:08
SpaceX开盘飙涨29%,美股太空股跳水,维珍银河大跌超25%,科技七巨头集体下跌

SpaceX开盘飙涨29%,美股太空股跳水,维珍银河大跌超25%,科技七巨头集体下跌

21世纪经济报道
2026-06-12 22:10:31
SpaceX美国IPO首日开盘报150美元

SpaceX美国IPO首日开盘报150美元

界面新闻
2026-06-12 23:49:26
江苏师大两名外籍留学生插队吐口水还动手打人,市民追两条街制服

江苏师大两名外籍留学生插队吐口水还动手打人,市民追两条街制服

大厂编外实习生
2026-06-12 15:56:50
清华副教授蒋劲松去世,享年61岁

清华副教授蒋劲松去世,享年61岁

大风新闻
2026-06-12 16:05:15
到底真的假的?网传几乎所有大学专业都在劝退…

到底真的假的?网传几乎所有大学专业都在劝退…

慧翔百科
2026-06-12 17:40:37
伊布:亚马尔是值得花高票价去看的球员,他简直不可思议

伊布:亚马尔是值得花高票价去看的球员,他简直不可思议

懂球帝
2026-06-12 19:49:16
美加墨世界杯第二场比赛就现空座,票价争议浮出水面

美加墨世界杯第二场比赛就现空座,票价争议浮出水面

澎湃新闻
2026-06-12 17:40:29
法拉利高管深夜开怼:智界,你请的“首席设计师”到底是谁?

法拉利高管深夜开怼:智界,你请的“首席设计师”到底是谁?

小南看车
2026-06-11 20:30:07
27公斤被盗黄金悉数追回,南京警方破获国内最大黄金盗窃案件

27公斤被盗黄金悉数追回,南京警方破获国内最大黄金盗窃案件

现代快报
2026-06-12 14:11:13
数据出炉,爆了!世界杯在中国收视率,让所有 FIFA 领导层后怕

数据出炉,爆了!世界杯在中国收视率,让所有 FIFA 领导层后怕

酷侃体坛
2026-06-12 18:57:16
于东来反思对员工太包容:员工不值6000元工资,一旦离开胖东来就完了

于东来反思对员工太包容:员工不值6000元工资,一旦离开胖东来就完了

顶级大佬思维
2026-06-12 12:42:48
曝美团大裁员:连外卖基本盘都动刀 网友:后悔当初编压榨算法吗?

曝美团大裁员:连外卖基本盘都动刀 网友:后悔当初编压榨算法吗?

火锅局
2026-06-12 11:18:14
英国爆发大骚乱:四天燎原、全境失控!

英国爆发大骚乱:四天燎原、全境失控!

怪味历史连连看
2026-06-12 14:30:03
2026-06-13 01:11:01
TechWeb incentive-icons
TechWeb
做有态度的互联网资讯。
18449文章数 43123关注度
往期回顾 全部

科技要闻

刚刚,人类历史上首位万亿美元富豪诞生!

头条要闻

美加墨世界杯第二场比赛就现空座 英媒:尴尬

头条要闻

美加墨世界杯第二场比赛就现空座 英媒:尴尬

体育要闻

欧洲恐韩?肉德维德?

娱乐要闻

一天4个瓜,肖战热巴最意外

财经要闻

万亿美元顺差背后,透露这些信号

汽车要闻

标配激光雷达/双动力可选 昊铂S600限时售17.99万起

态度原创

房产
时尚
家居
本地
军事航空

房产要闻

海南最赚钱行业曝光!最快4年半,海口全款买三房!

夏天别总穿一身白或一身黑!试试一半彩色、一半基础色,高级亮眼

家居要闻

空间微调 移形换境

本地新闻

AK刘彰邂逅河北南大港湿地

军事要闻

伊朗媒体:已故最高领袖葬礼推迟举行

无障碍浏览 进入关怀版