80%访客不是人类：一个开发者为何主动拥抱AI爬虫

大多数开发者拼命做SEO，为了让人类多点几次。我做了完全相反的事——我的"客户"是Claude、ChatGPT和自动化机器人。

打开Cloudflare后台时，我看到一个诡异数据：80%流量来自美国与荷兰的数据中心。对普通博客，这是警报。对我来说，这是产品发布成功。

这是AgentShare的故事。一个为AI Agent时代设计的网站，如何在不牺牲安全的前提下，把机器变成核心用户。

一、AIO取代SEO

不再争夺关键词排名，我只关心一件事：让大语言模型在3秒内"读懂"我。两件事做到这点：

第一，llm.txt标准。我专门做了/llm.txt文件。没有混乱的HTML抓取，只有干净的markdown格式，像一份API和文档的"菜单"。

第二，MCP优先。AgentShare本身是个上下文服务器。用Claude Desktop或Cursor，可以直接连到我的数据层。复制粘贴？不需要了。

二、开门，但只给对的人

向机器人敞开大门有风险。你要的是"好AI"，不是恶意爬虫。几条硬规则：

剥离敏感数据。所有来自合作伙伴（如AliExpress）的原始数据，先过strip_sensitive函数。内部ID和token，在AI看到之前就被过滤掉。

管理员入口隐身。我把/admin/login从robots.txt移除（避免Google的"已屏蔽但被索引"警告），换成硬编码路径。不是主人，找不到门。

拦截"商业"爬虫。那些只消耗服务器资源、不提供价值的激进爬虫，直接封禁。

三、用AI建AI产品的真相

说实话，我的第一版需求文档是一团糟。不小心把调试端点写进了公开文档。我用Cursor和Claude审计自己的代码。找到泄露点，修复webhook所有权逻辑，一起打磨robots.txt。这种"人机协作"，让现在的版本稳定下来。

最后

为AI优化不只是API的事，而是信任与结构。如果你在Agent领域创业，别再为眼睛做设计，开始为"大脑"做设计。agentshare.dev——最好让你的AI自己去问它。