网易首页 > 网易号 > 正文 申请入驻

每秒12000 tokens吞吐:Taalas集群跑DeepSeek R1创速度纪录

0
分享至

IT之家 2 月 21 日消息,科技媒体 Wccftech 昨日(2 月 20 日)发布博文,报道称 AI 芯片初创公司 Taalas 为解决大模型的延迟与成本难题,推出“硬连线”(Hard-wiring)技术,直接将 AI 模型固化在硅片中。

在 AI 算力竞争日益激烈的当下,延迟已成为制约智能体(Agentic)应用的核心瓶颈。不同于 Cerebras 或 Groq 试图通过集成 SRAM 来加速的路径,成立仅 2.5 年的初创公司 Taalas 选择了更为激进的 ASIC(专用集成电路)路线。

IT之家援引博文介绍,该公司研发出一种能将任意 AI 模型转化为定制硅片的平台,其核心逻辑在于“融合计算与存储”,直接将特定 LLM 的神经网络映射到硅片电路中,在 DRAM 级密度下完成所有计算。

这种设计彻底摒弃了 HBM(高带宽内存)、复杂封装及昂贵的散热系统,从物理层面消除了数据传输的“内存墙”障碍。


Taalas 已展示其首款产品 HC1,该芯片专为 Meta 的 Llama 3.1 8B 模型设计。从技术规格来看,HC1 采用台积电 6nm 工艺制造,芯片面积高达 815 mm²,这一尺寸几乎与 NVIDIA 的 H100 相当。

Taalas 的在线聊天机器人演示在 EE Times 试用时达到了每秒 15,000+ tokens,但公司表示,在某些条件下内部测试已接近 17000 tokens(Taalas 承认其版本的 Llama3.1-8B 被“激进”量化)。


然而,巨大的芯片面积仅容纳了 80 亿参数的模型,这与当前万亿参数的前沿模型相比显得“容量有限”。这表明,为了实现极致的硬连线速度,Taalas 在单位面积的参数密度上做出了巨大妥协,这也是该技术路线面临的主要物理限制之一。


尽管参数密度不高,但 HC1 的性能表现极具颠覆性。官方数据显示,相比现有的高端算力基础设施,Taalas 方案的每秒 Token 生成数(TPS)提升了 10 倍,同时生产成本降低至 20 分之一。

为了解决单芯片容量不足的问题,Taalas 采用了集群化扩展策略。在针对 DeepSeek R1 模型的测试中,通过 30 芯片的集群配置,实现了高达 12000 TPS / User 的吞吐速度(据公司称,GPU 目前的技术约为每人每秒 200 个 tokens)。这一数据意味着在实时交互和复杂推理任务中,用户将获得近乎零延迟的体验。

TPS 是衡量大语言模型生成速度的关键指标,代表模型每秒能输出多少个文本单位(Token)。相当于打字员的打字速度,TPS 越高,AI 回复得越快,用户等待时间越短。

该媒体指出 Taalas 的技术路线虽然诱人,但商业模式面临独特挑战。由于模型权重被“硬连线”在硅片中,芯片一旦制造完成便无法更改模型参数。

这意味着客户必须为特定的模型版本(如 Llama 3.1 或 DeepSeek R1)购买专用硬件,一旦算法迭代,硬件可能面临淘汰风险。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
震惊!沈阳浑南区连续三天大面积断电,当地市民吐槽,家里孩子还在发烧,下午断电一次,晚上又断电

震惊!沈阳浑南区连续三天大面积断电,当地市民吐槽,家里孩子还在发烧,下午断电一次,晚上又断电

火山詩话
2026-08-02 15:35:56
全市场:国米抵达珀斯,恰尔汗奥卢等3人接近复出

全市场:国米抵达珀斯,恰尔汗奥卢等3人接近复出

懂球帝
2026-08-02 15:44:48
杨颖带小海绵逛街,顶着大太阳也没打伞,小海绵狼尾发型像黄晓明

杨颖带小海绵逛街,顶着大太阳也没打伞,小海绵狼尾发型像黄晓明

动物奇奇怪怪
2026-08-02 10:41:02
21岁小伙发现“彩票漏洞”,一年狂揽86亿,四栋别墅堆满现金

21岁小伙发现“彩票漏洞”,一年狂揽86亿,四栋别墅堆满现金

金哥说新能源车
2026-08-01 12:30:18
王虹在巴黎求学期间的军服标准照,飒!

王虹在巴黎求学期间的军服标准照,飒!

犀利强哥
2026-07-30 22:23:50
马斯克怒怼反华女主编:我觉得讨厌你和媒体的人,可比你们想象中要多得多!网友:至少有十多亿中国人讨厌她

马斯克怒怼反华女主编:我觉得讨厌你和媒体的人,可比你们想象中要多得多!网友:至少有十多亿中国人讨厌她

大白聊IT
2026-08-02 00:07:59
中东战争可能要全面失控了,伊朗表示我愿意投降,给我留条命就行

中东战争可能要全面失控了,伊朗表示我愿意投降,给我留条命就行

安安说
2026-07-30 13:43:17
章含之为照顾乔冠华,拒绝任驻加拿大大使,毛主席:你不听我的话

章含之为照顾乔冠华,拒绝任驻加拿大大使,毛主席:你不听我的话

历史龙元阁
2026-08-01 14:25:11
44岁乐坛天后裸骑视频曝光!此前刚因危险驾驶被捕,自曝想说出真相

44岁乐坛天后裸骑视频曝光!此前刚因危险驾驶被捕,自曝想说出真相

浅遇时光
2026-08-01 00:59:11
林彪在沙盘前研究战术,却被参谋质疑,林彪:你来指挥试试看

林彪在沙盘前研究战术,却被参谋质疑,林彪:你来指挥试试看

第四思维
2025-07-23 13:36:15
警惕人口战争!7亿人口时“嫌多”,14亿人口时“嫌少”,为什么

警惕人口战争!7亿人口时“嫌多”,14亿人口时“嫌少”,为什么

笑熬浆糊111
2026-08-02 10:27:00
19岁亚马尔身材进化引热议,巴萨天才休赛期苦练肌肉欲统治新赛季

19岁亚马尔身材进化引热议,巴萨天才休赛期苦练肌肉欲统治新赛季

星耀国际足坛
2026-08-01 19:09:57
8月7日立秋,立秋不等于降温,真正凉快的具体时间表来了!

8月7日立秋,立秋不等于降温,真正凉快的具体时间表来了!

神牛
2026-08-01 17:40:11
南瓜被点名了!发现:糖尿病病人吃南瓜,不必等多久,或有几变化

南瓜被点名了!发现:糖尿病病人吃南瓜,不必等多久,或有几变化

任医生聊健康
2026-08-02 14:20:11
2026年养老金调整通知公布?8月1日两大意外

2026年养老金调整通知公布?8月1日两大意外

深海的秘密
2026-08-01 19:36:24
开国上将张爱萍在301医院化名就医,夜里身陷毒杀危机,救他的警卫自此销声匿迹,将军找他找了整整15年,再度相逢时潸然泪下

开国上将张爱萍在301医院化名就医,夜里身陷毒杀危机,救他的警卫自此销声匿迹,将军找他找了整整15年,再度相逢时潸然泪下

磊子讲史
2026-07-30 13:47:14
对中国游客连喊带骂,男子高呼再也不来俄罗斯了

对中国游客连喊带骂,男子高呼再也不来俄罗斯了

昊轩看世界
2026-08-02 11:28:37
一天票房超14亿,全球冠军将易主,果然能打败《阿凡达》的只有漫威

一天票房超14亿,全球冠军将易主,果然能打败《阿凡达》的只有漫威

影视高原说
2026-08-02 11:35:46
CCTV5直播,中国队鏖战乌拉圭队,杨瀚森、王俊杰缺阵,鹿死谁手

CCTV5直播,中国队鏖战乌拉圭队,杨瀚森、王俊杰缺阵,鹿死谁手

体坛小快灵
2026-08-02 08:55:10
长鑫科技大涨超14%,市值超4万亿元

长鑫科技大涨超14%,市值超4万亿元

澎湃新闻
2026-07-31 09:48:30
2026-08-02 16:51:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
358213文章数 607413关注度
往期回顾 全部

科技要闻

零跑月销10万破纪录!比亚迪奇瑞海外卖爆

头条要闻

因凡蒂诺遭欧足联通牒:赶紧主动辞职 否则投票罢免

头条要闻

因凡蒂诺遭欧足联通牒:赶紧主动辞职 否则投票罢免

体育要闻

1米76的他,为什么是史上最强中卫之一?

娱乐要闻

一天5瓜!“做头发”事件另有玄机?

财经要闻

长鑫科技四万亿市值背后的资本与周期

汽车要闻

历史性里程碑时刻 零跑7月交付达101267台

态度原创

艺术
健康
亲子
旅游
时尚

艺术要闻

看看米芾临摹的《十七帖》,这才是最纯正的古人笔法,水平已不输原作!

中风易复发!谈中风康复与二级预防

亲子要闻

想让孩子长高,千万不能让他太胖!

旅游要闻

(长江十年行)滚滚长江出云南 绿水青山展新颜

伊姐周六热推:电视剧《御廷谣》;电视剧《九门》......

无障碍浏览 进入关怀版