网易首页 > 网易号 > 正文 申请入驻

从活字字块到Token浪潮:技术民主化的千年接力

0
分享至

【文/王志帆】

数据洪流:7万亿Token背后的历史回响

3月16日至22日,全球最大AI模型API聚合平台OpenRouter记录下一组令人侧目的数据:全球AI大模型总调用量20.4万亿Token,其中超过三分之一流向了中国模型。

连续三周,中国AI大模型的周调用量碾压美国同行——7.359万亿对3.536万亿,涨幅56.9%对7.35%。排行榜前四席,中国模型包揽全部:小米MiMo V2 Pro、阶跃星辰Step 3.5 Flash、MiniMax M2.5、DeepSeek-V3.2。

但比排名更值得关注的是这个被频繁提及却鲜被理解的词——Token。

1000年前,北宋工匠毕昇在胶泥上刻下一个个反体字,用火焙硬,制成可以反复排列的"活字",改写了人类知识传播的历史。今天,工程师们将文本切割成名为"Token"的最小单元,用向量和矩阵重新定义智能生产的逻辑。

从泥活字到数字Token,从物理排版到神经网络计算,一场关于"最小单元"的革命,似乎正在以惊人的相似性重演。

但相似不等于相同。本文将借用活字印刷的历史意象,同时严格划定类比的边界——因为技术史的精确性,比叙事的流畅性更重要。


Token是什么?AI的“文字食材”——以及它和活字的“表亲”关系

"Token是大语言模型处理文本的基本单元,可理解为'AI眼中的字块'。"

深圳理工大学算力微电子学院助理教授马智恒这样解释。在输入模型前,文本会被切分成Token并转换为向量。中文通常每个字对应1至2个Token,英文则约0.75个Token per word。

想象你向AI提问:"人工智能会取代人类吗?"

在人类眼中,这是一句话。在AI眼中,这是若干Token的序列——可能是"人工"+"智能"+"会"+"取代"+"人类"+"吗",或者更细粒度的切分。每个Token都被编码成一个高维向量,在神经网络的层间通过矩阵运算和注意力机制进行处理,最终生成回答。

深圳计算科学研究院崖山LAB负责人欧伟杰打了个比方:如果将"算力"视为"电力",那么Token就是消耗的"电量",是衡量AI活跃度与处理规模的核心指标。

综合开发研究院通证数字经济研究中心执行主任马朝良看得更远:"Token背后反映的是一个更大的趋势——人类正在把世界'拆解'成可以被机器理解和处理的最小单位。"

至此,"Token=数字活字"的类比似乎成立。但这里必须插入一个关键的澄清——

活字印刷的"最小单元"(泥活字)是生产工具,可物理复用;Token的"最小单元"是计算过程中的临时数据,每次调用都在消耗算力资源。 换句话说,活字越用越省(边际成本递减),Token越用越费(边际成本基本线性增长)。二者在成本逻辑上是反向的。

那么,真正的类比对象是什么?

不是Token本身,而是预训练模型的权重参数——那些在海量数据中训练得到的、可以被无数应用共享调用的"知识结晶"。这些参数才是更接近"数字活字"概念的对象:刻制一次(训练),复用无限(推理)。(注:这是本文提出的类比,非学术界标准术语)

而Token,更像是印刷过程中的"纸张和油墨"——是消耗品,而非生产工具。

但为何Token的调用量如此重要?因为它衡量的是"数字活字"被激活的频率——是技术民主化的温度计,而非技术本身。


历史的回响:活字印刷的启示与错位

1040年代,北宋庆历年间,布衣毕昇发明了胶泥活字印刷术。

这比古腾堡的铅活字印刷机早了整整400年。沈括在《梦溪笔谈》中详细记录了这项技术:用胶泥刻字,薄如钱唇,火烧令坚,然后密布字印,满铁范为一板。

但历史开了一个残酷的玩笑。

明清时期,活字印刷在中国未能完全取代雕版。原因复杂:汉字数量庞大,常用字就需数万枚字模;泥活字易损,金属活字成本高昂;科举制度下的书籍需求结构,未能形成足够的商业驱动力。直到19世纪西方铅活字印刷机传入,中国才真正进入活字印刷的大规模应用时代。

发明在先,规模化在后——这是中国古代技术史的常见叙事。

但今天,当Token成为智能生产的"消耗单元",中国似乎正在走出不同的轨迹。这里的关键差异在于:我们并非Token机制(Transformer架构、注意力机制均源于美国)的"原创发明者",但正在成为Token规模化流动的主导者。

这是一种不同的历史角色——不是毕昇式的"技术首创者",也不是古腾堡式的"技术整合者",而是"技术采纳者+规模化应用者"的新角色。


霸榜背后:中国Token经济的三大支点

OpenRouter的数据揭示了一个清晰的格局:中国模型不仅调用量大,而且增长迅猛。这背后是三个相互强化的支点。

第一支点:价格革命——让"纸张油墨"便宜到可以挥霍

以DeepSeek、MiniMax M2.5为代表的国产模型,大幅降低了API使用成本。

"国产模型以较低的训练成本将AI变为如同柴米油盐一样的生活必需品。"粤港湾控股有限公司执行董事罗介平如此评价。

这里需要再次厘清类比:如果说模型权重更接近"数字活字"(一次性投入,无限复用),那么推理成本就是"印刷耗材"(每次调用,持续消耗)。中国模型的真正突破,在于让"耗材"便宜到可以大规模挥霍——这降低了技术应用的门槛,而非技术生产的门槛。

活字印刷的核心价值,是让知识复制的边际成本断崖式下跌;今天中国AI的核心价值,是让智能服务的边际成本趋近于零。效果相似,机制不同。

第二支点:开源生态——让"字模"可以被自由复制

中国公司在开源模型领域占据主导地位,与全球顶尖闭源模型的技术代差已缩短至约三个月。

开源意味着什么?意味着"数字活字"(模型权重)可以被全球开发者自由获取、改进、再分发。毕昇的活字技术受限于时代,未能形成持续迭代的社区;今天的开源模型生态,正在以互联网的速度自我强化。

第三支点:场景红利——让"印刷机"遍布每个角落

这是最具中国特色的变量。

微信月活13亿,钉钉7亿,飞书2亿。这些超级应用构成了AI触达用户的"自来水管网"。


"我国开发者贡献了大量的Token消耗,"罗介平指出,"这些用户只需轻轻一点即可调用AI能力,这无疑带来了海量的模型调用需求。"

欧伟杰称之为"长尾效应":随着国内大模型在推理成本、响应速度、API成本等方面的持续优化,大量中小企业和开发者开始将AI接入业务流程,触发了调用量的指数级增长。

十亿级用户入口 + 极低调用成本 + 开源技术生态,这三者的乘积效应,构成了中国Token经济的基本盘。

但请注意:这里的竞争优势不在于Token本身,而在于Token的流动效率——是基础设施、成本控制、场景渗透的综合结果。

冷思考:Token洪流中的真问题

繁荣的表象下,需要保持清醒。

首先是"量"与"质"的落差。

马智恒提醒:"我们也必须清醒认识到,美国在原始模型创新、高端芯片与算力基础设施等领域,仍保持着显著优势。"

调用量领先不等于技术领先。中国模型在应用层的Token消耗上占据优势,但在基础层的模型架构创新、硬件层的算力自主性上,短板依然存在。

其次是"消耗"与"沉淀"的错位。

欧伟杰指出了更隐蔽的挑战:"海量Token的背后,是更大规模的数据吞吐与更复杂的数据治理挑战。大模型的每一次调用,都依赖底层数据库系统对实时数据、历史知识、用户交互的精准管理与毫秒级响应。"

这里有一个反讽:Token调用量越大,意味着"数字活字"(模型权重)被使用得越频繁,但同时也意味着系统脆弱性越高——数据治理、实时响应、安全合规的压力呈指数级增长。

活字印刷不仅要有字块,还要有精良的排版工艺、优质的纸张墨水、高效的发行网络。Token经济同样需要完整的"排版生态"。

最后是"薄利"与"溢价"的困境。


中国模型以价格优势收获全球开发者青睐,但这是否意味着我们只能做"薄利多销"的生意?如何在Token调用量的基础上,构建更高附加值的服务和品牌?

这是从"制造大国"到"品牌强国"的老命题,在AI时代的新投射。

未来谁将成为"智能排版大师"?

3月,阿里巴巴正式成立Alibaba Token Hub事业群,旨在围绕"创造Token、输送Token、应用Token"构建完整的AI生态体系。

几乎同时,英伟达CEO黄仁勋在GTC 2026上提出"Token经济学",将数据中心定义为生产AI智能Token的工厂,强调"算力即收入"。

两种视角,两种逻辑。

美国视角:数据中心是Token工厂,算力即收入,核心是生产能力的垄断。

中国实践:Token Hub是生态枢纽,创造-输送-应用全链条打通,核心是网络效应的捕获。

哪种路径更具可持续性?历史或许能提供参照。

古腾堡的真正突破,不在于发明了活字(金属活字早已存在),而在于整合了活字铸造、印刷机、油墨配方、纸张供应、商业出版的全链条。技术的发明重要,但技术的"排版"——即如何将其嵌入社会经济系统的复杂网络——可能更重要。

今天,中国拥有最丰富的应用场景、最庞大的用户基数、最活跃的开发生态。这些条件使得中国有机会成为AI时代的"排版大师"——不仅生产Token,更定义Token流动的方式、规则和价值分配机制。

尾声:划定边界后的回望

回到1000年前的开封府,毕昇在胶泥上刻下最后一个反体字,火光照亮了他布满老茧的双手。

他不知道,这项技术将在400年后才在异国他乡真正绽放。他更不知道,1000年后,另一群工程师正在服务器机房中,以每秒万亿次的速度切割、编码、重组着名为"Token"的数字单元。

从泥活字到数字Token,从物理排版到神经网络,人类对技术民主化的追求从未停止。但本文必须以一个严格的限定作结:

Token不是数字活字。模型权重才是。Token只是这些"数字活字"被激活时产生的涟漪。

中国AI的7万亿Token周调用量,衡量的不是技术原创性,而是技术扩散的速度和广度。这不是毕昇式的"发明者叙事",也不是古腾堡式的"整合者叙事",而是一种新的"规模化叙事"——同样伟大,但性质不同。这一次,历史没有完全重演。中国正在书写新的剧本。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一个程序员的自白:10年搭起的三根职业支柱,全倒了,不如去做木匠

一个程序员的自白:10年搭起的三根职业支柱,全倒了,不如去做木匠

机器之心Pro
2026-06-22 11:43:16
新一轮下岗潮真来了?三大行业即将面临失业,早知道早准备

新一轮下岗潮真来了?三大行业即将面临失业,早知道早准备

骚年先锋
2026-06-23 02:26:57
菲防长彻底完蛋!中方制裁不到十天,又被国内质疑:你是哪国防长

菲防长彻底完蛋!中方制裁不到十天,又被国内质疑:你是哪国防长

诗里寻那个他
2026-06-22 03:46:52
“橘子宾馆”被“桔子连锁酒店”起诉索赔十万,被告宾馆老板:就一个字相同也侵权?

“橘子宾馆”被“桔子连锁酒店”起诉索赔十万,被告宾馆老板:就一个字相同也侵权?

潇湘晨报
2026-06-22 17:39:20
梅西被伊布、阿拉巴、克洛泽、吉鲁、赛沃尔德等集体歌颂!

梅西被伊布、阿拉巴、克洛泽、吉鲁、赛沃尔德等集体歌颂!

五姑娘台球
2026-06-23 11:46:09
够狠!中国公布日本袭扰辽宁号:战舰堵路,战机临门!

够狠!中国公布日本袭扰辽宁号:战舰堵路,战机临门!

故事终将光明磊落
2026-06-23 11:43:19
我妈帮我带娃住了2个月,突然开始恶心,检查结果让我当场崩溃!

我妈帮我带娃住了2个月,突然开始恶心,检查结果让我当场崩溃!

千秋文化
2026-06-17 20:32:56
苏州工厂招印度员工,汤教授呼吁:西方亡羊补牢,我们要守住底线

苏州工厂招印度员工,汤教授呼吁:西方亡羊补牢,我们要守住底线

王新喜
2026-06-22 17:12:30
姐妹,坐高铁注意点形象吧,腿上的亮点都快被别人看光了

姐妹,坐高铁注意点形象吧,腿上的亮点都快被别人看光了

舞指飞扬
2026-06-23 09:47:11
1995年,为阻止《白鹿原》获茅盾文学奖,作协主席故意“使绊子”

1995年,为阻止《白鹿原》获茅盾文学奖,作协主席故意“使绊子”

史之铭
2026-06-19 19:22:19
美国男篮公布世预赛12人大名单

美国男篮公布世预赛12人大名单

体坛周报
2026-06-23 04:54:39
罗永浩曾痛批iPhone设计属于二流 苹果新CEO调转方向:将设计视为第一优先级

罗永浩曾痛批iPhone设计属于二流 苹果新CEO调转方向:将设计视为第一优先级

快科技
2026-06-22 23:04:05
女孩查分721,当晚选择坠楼自杀,警方检查手机短信,发现实情

女孩查分721,当晚选择坠楼自杀,警方检查手机短信,发现实情

罪案洞察者
2025-07-16 10:48:38
2比0!阿根廷击败奥地利提前出线,赛后2大坏消息或影响卫冕前景

2比0!阿根廷击败奥地利提前出线,赛后2大坏消息或影响卫冕前景

王大发不懂球
2026-06-23 07:15:35
从广德车祸,看某些人性有多扭曲

从广德车祸,看某些人性有多扭曲

走读新生
2026-06-22 19:27:27
1955年猜自己是中将,却被授予大校,气得他一辈子不穿大校军装

1955年猜自己是中将,却被授予大校,气得他一辈子不穿大校军装

云霄纪史观
2026-06-20 20:57:32
台湾方面不接受“一国两制”,王毅回应:往后台湾只有一个称呼

台湾方面不接受“一国两制”,王毅回应:往后台湾只有一个称呼

人生录
2026-06-22 15:37:48
单场获评满分有多难?世界杯至今三人做到,只有梅西不靠守门!

单场获评满分有多难?世界杯至今三人做到,只有梅西不靠守门!

听我说球
2026-06-22 08:10:35
达洛特揭秘:葡萄牙队提前预判C罗会被黑,全队已达成共识

达洛特揭秘:葡萄牙队提前预判C罗会被黑,全队已达成共识

赛场速报局
2026-06-23 00:26:15
市场突变!亚太股市、黄金、白银、原油,全线跳水!

市场突变!亚太股市、黄金、白银、原油,全线跳水!

证券时报e公司
2026-06-23 14:24:01
2026-06-23 14:36:49
观察者网 incentive-icons
观察者网
全球视野,中国关怀
143770文章数 1850840关注度
往期回顾 全部

科技要闻

48名中国开发者联名举报苹果

头条要闻

山西沁源新任县委书记上任 就"82死矿难"表态

头条要闻

山西沁源新任县委书记上任 就"82死矿难"表态

体育要闻

哈兰德国家队52场59球 世界杯狂刷6大纪录

娱乐要闻

喜剧大师曝光肖战拍戏状态!

财经要闻

智谱万亿市值,国产Anthropic真来了?

汽车要闻

华为智驾ADS限时优惠月底结束 7月1日前下订立省3000元

态度原创

房产
艺术
家居
时尚
公开课

房产要闻

一年时间,36个盘“消失”!海口楼市,罕见“大收缩”!

艺术要闻

田卫平 2026静物油画选

家居要闻

绿意盎然 自然之境

今年夏天一定要拥有的6条绝美裙子,太好看了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版