北京
关注“在线学习”
获取更多资讯！
相信大家都有一个最熟悉的陌生人——人工智能，也就是AI！用AI答疑、解题、唠嗑……似乎问什么它都能回答。那么，AI到底是怎么听懂人话的？
其实，它根本不认字，只认识“词元”，也就是AI处理信息的“最小积木”，积木拼起来才是完整的内容。
咱们看一句话、一段文字时，体会的是完整的意思，比如“饺子怎么包”；但在AI眼里，它不会直接理解这句话，而是会把它“拆碎”，切成一块一块的小单元，“饺子”“怎么”“包”，这每一块，就是一个词元。AI就是靠处理一长串词元，来理解和生成语言。
词元可能是一个完整的词，比如“AI”“饺子”；也可能是半个词，比如“词元”就可能被拆成“词”和“元”；甚至能是一个字、一个标点，比如“哦” “！”。只要是AI能识别的最小单元，都是词元。
肯定有人问，为啥叫“词元”？这可不是随便起的，是专家们经过流程审定的！全国计算机科学技术名词审定委员会将token定名为“词元”。“词”代表它最早来自语言，跟我们说的话紧密相关，“元”就是最小单元，和“元素”“单元”里的“元”一个意思，好记又科学。
词元可不只局限于文字哦。现在咱们用的多模态AI，能看图片、听语音。其实，图片被切成的小图块、语音被剪的小片段，本质上都是词元！
你发的每一句话、每一个指令，都会被AI拆成一个个小小的词元，再重新组合成回答给你。这就是AI读懂世界的底层逻辑，是不是瞬间就懂了？
本文来源｜光明微教育
声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与我们联系，我们将及时更正、删除，谢谢。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
