网页80%是垃圾代码，RAG系统正在为此买单

一个典型网页的80%是标记语言，只有20%是实际内容。当你把整页HTML塞进大语言模型时，每一分钱算力都在为导航栏、跟踪脚本和CSS类名买单。

这不是比喻。一个空的布局元素

能吃掉15到20个token。乘以现代网页数千个嵌套元素，8k甚至16k的上下文窗口还没读到正文就已经耗尽。

检索增强生成（RAG） pipeline 正在经历一场静默的 token 经济危机。而解决方案藏在最上游：在抓取层就把网页转换成干净的 Markdown 或结构化 JSON。

Token 经济的隐形杀手

大语言模型用基于字节对编码（BPE）等算法的分词器处理文本。常见单词可能映射为单个 token，但随机字符串、压缩后的 JavaScript、复杂的 CSS 选择器往往按字符拆成多个 token。

原文举了一个残酷的例子：那个看似无害的空 div，类名里的每个连字符、每个数字都在消耗你的预算。现代单页应用（SPA）的嵌套深度让这个问题指数级恶化。

如果你直接对原始 HTML 做分块和嵌入，向量数据库会被 CSS 类名、SVG 路径、跟踪脚本污染。当你搜索特定领域知识时，系统可能返回包含布局类的垃圾块，而非真正的文本内容。

这不是边缘 case。这是每一个从网页获取数据的 RAG 系统都在面对的结构性问题。

Markdown：非结构化内容的母语

Markdown 是现代语言模型的原生语言。模型的训练数据里充斥着代码仓库、技术文档、论坛里的 Markdown 文件。

在嵌入前把页面转成 Markdown，能同时做到两件事：剥离 DOM 的语法开销，保留层级结构。井号（#、##）标示文档章节， bullet points 聚合相关项目，表格维持表格数据结构。

这种上下文对文本分块策略至关重要。高级 RAG 系统用基于标题的分块来逻辑拆分文档，而不是机械地每 500 字切一刀。

原文没有展开的是：这种结构性保留让后续的语义检索有了"目录感"。模型能判断这块内容属于哪个章节、与什么主题并列，而不是面对一团被截断的文本碎片。

JSON：结构化数据的终极压缩

对于高度结构化的公开数据——电商商品页、房产 listing、企业名录——Markdown 仍然太宽泛。你不需要站点导航、页脚链接、侧边栏推荐。

你只需要核心实体：商品名称、价格、规格，或公司联系方式。

在抓取层直接提取成结构化 JSON，是 token 效率最高的方案。喂给模型的是一个干净的对象，只包含它需要的精确事实。

原文的潜台词很锋利：大多数 RAG 系统在做"先污染后治理"——把整个网页吞进去，再让模型从垃圾里挑金子。而边缘层的提前转换，是把成本扼杀在源头。

实现转换 Pipeline 的硬约束

要可靠实现这一点，抓取基础设施必须在一个流程内完成三件事：无头浏览器渲染、网络拦截、数据提取。

原文警告了一个常见陷阱：如果你用标准 HTTP 客户端获取原始 HTML再在本地解析，会在现代单页应用上失败。这些 SPA 需要 JavaScript 执行才能呈现实际内容。

这意味着你的抓取层必须足够重（能跑浏览器），又必须足够轻（在边缘完成转换）。这个矛盾没有标准答案，原文也没有给出具体技术选型——它只划定了问题边界。

但我们可以推断：那些试图用简单 curl 抓取再本地处理的方案，本质上是在逃避真正的工程复杂度。而复杂度不会消失，只会转移到下游的 token 账单和检索质量上。

为什么这件事现在才值得讨论

RAG 的架构图通常把"文档加载"画成一个小方块。但当你从网页获取数据时，这个方块内部藏着巨大的优化空间。

原文揭示了一个被忽视的权衡：延迟 vs 质量 vs 成本的三重约束。原始 HTML 路径延迟高（token 多）、质量差（噪声多）、成本贵（算力浪费）。边缘转换路径前期工程重，但每一轮推理都在省钱。

对于从公开网页构建知识库的产品，这个优化不是锦上添花。当你的上下文窗口被导航栏吃掉一半，你的 RAG 系统本质上是在做有损压缩——而损失的是答案的准确性。

更隐蔽的影响在向量索引层面。被 CSS 类名污染的嵌入空间，会让语义相似度计算失真。两个谈论相同技术概念的段落，可能因为一个带了 Bootstrap 类名、一个用了 Tailwind，而在向量空间里相距甚远。

原文没有说的，但值得追问：当整个行业都在讨论更贵的模型、更大的上下文窗口时，为什么没人先清理输入数据？

产品视角的延伸思考

这个技术方案背后是一个更普适的产品逻辑：数据管道的早期清洗，比下游的模型能力更决定最终体验。

原文聚焦在 RAG 场景，但同样的模式出现在任何"从混乱源提取结构化洞察"的系统中。PDF 解析、邮件处理、聊天记录分析——都在面对类似的"格式噪声 vs 语义信号"问题。

边缘转换策略的代价是基础设施复杂度。你需要维护渲染集群、处理反爬、管理转换规则。但原文暗示的底线是：如果不付这个代价，你会在每一次推理中持续付费。

对于 25-40 岁的科技从业者，这可能是评估 RAG 项目时的一个健康检查点：你的 token 账单里，有多少比例是在为网页的导航栏买单？

如果答案让你不舒服，问题可能不在模型选择，而在数据管道的最前端。