网易首页 > 网易号 > 正文 申请入驻

四个命令行工具,让AI爬虫真正"看见"你的网站

0
分享至

市面上的GEO/SEO工具读起来像是为了卖课而写的,不是为了解决问题。所以我写了四个工具。

四个Node命令行工具,零运行时依赖,MIT协议,每个只做一件事。它们都托管在npm的@geosuite作用域下,源码在github.com/TryGeoSuite。


以下是它们的功能,以及每个工具背后的设计决策。

@geosuite/ai-crawler-bots

功能:检测GPTBot、ClaudeBot、PerplexityBot等约20种AI爬虫能否真正访问你的网站,以及在无法访问时阻断来自何处。

使用方法:

npx @geosuite/ai-crawler-bots robots https://your-site.com

非显而易见的细节:当请求返回403时,结果会区分边缘阻断(响应中包含Cloudflare/CloudFront/Vercel/Akamai/Fastly/Netlify的指纹)与源站阻断(无此类指纹——问题出在你的应用或Web服务器)。两种情况的修复方式不同:边缘阻断意味着在CDN控制台切换一个开关,源站阻断则意味着更新配置文件。

该工具还能逐行解析robots.txt的来源,当某个爬虫被Disallow时,它会指出是哪个组中的哪一行导致的。它还能检测Cloudflare注入的"# BEGIN Cloudflare Managed Content"…"# END Cloudflare Managed Content"标记——如果你自己的规则原本允许该爬虫,但托管规则禁止了,报告会明确说明。

用户代理字符串来自运营商官方文档,而非互相抄袭的第三方SEO博客。我们不接受没有文档链接的条目。

@geosuite/schema-templates

功能:提供23个可直接复制粘贴的schema.org JSON-LD模板,以及离线结构验证器。

使用方法:

npx @geosuite/schema-templates list

npx @geosuite/schema-templates show Product

JSON-LD是你能向AI助手发出的最便宜、最明确的信号,告诉它你的页面是什么。这本身不会让ChatGPT引用你——权威性和时效性仍然重要——但它消除了一类本可避免的错误。AI不再需要猜测你的价格、作者,或者页面上的某个数字是基准测试还是笔误。

我故意排除了那些并非真正推荐的字段。用schema.org的每个可选属性填充模板会稀释信号。如果你需要某个未包含的字段,schema.org是权威来源——自行添加即可。

还有geosuite-schema fill --url --ai命令,如果你想让大语言模型从真实页面填充占位符,但确定性部分(模板+验证器)不需要网络或API密钥。

@geosuite/llms-txt-generator

功能:将sitemap.xml转换为符合llmstxt.org提议标准的llms.txt文件。

使用方法:

npx @geosuite/llms-txt-generator https://your-site.com/sitemap.xml \

--name="Your Site" --enrich --out=public/llms.txt

llms.txt旨在成为LLM形态的站点地图等价物:一个经过策划、分段的Markdown索引,收录你最重要的页面。该格式足够小巧,可被经典工具解析。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
心理学:连旧衣服都舍不得扔的女人,骨子里大多是这两种人,很准

心理学:连旧衣服都舍不得扔的女人,骨子里大多是这两种人,很准

心理观察局
2026-05-30 06:58:08
血脂与饮水量有关?医生劝告:血脂过高的人,喝水时多注意这8点

血脂与饮水量有关?医生劝告:血脂过高的人,喝水时多注意这8点

路医生健康科普
2026-05-30 20:10:03
唐斯:林书豪让我成为尼克斯粉,我曾经在店里疯狂找他的球衣

唐斯:林书豪让我成为尼克斯粉,我曾经在店里疯狂找他的球衣

懂球帝
2026-05-30 10:44:34
孙科比继母宋庆龄大两岁,没叫过母亲,却守住了孙家的体面与分寸

孙科比继母宋庆龄大两岁,没叫过母亲,却守住了孙家的体面与分寸

磊子讲史
2026-05-29 18:27:50
稻城亚丁省道收费今起暂停,景区想改掉省道属性,钱退不退还没说

稻城亚丁省道收费今起暂停,景区想改掉省道属性,钱退不退还没说

小鋭有话说
2026-05-30 23:37:53
托马斯·海尔默谈1994年美国世界杯德国队出局的敏感原因

托马斯·海尔默谈1994年美国世界杯德国队出局的敏感原因

绿茵情报局
2026-05-30 22:20:22
20GB+1TB!华为官宣:6月1日,即将开售

20GB+1TB!华为官宣:6月1日,即将开售

科技堡垒
2026-05-30 12:15:49
超市里这6样东西,尽量不要买,懂行的人很少碰

超市里这6样东西,尽量不要买,懂行的人很少碰

复转这些年
2026-05-24 18:24:08
绍伊古承认俄罗斯在前线无法推进,理由是俄罗斯与56个国家作战

绍伊古承认俄罗斯在前线无法推进,理由是俄罗斯与56个国家作战

山河路口
2026-05-29 21:50:31
特朗普提出“结束战事条”件,伊朗反击美军基地,格局彻底逆转

特朗普提出“结束战事条”件,伊朗反击美军基地,格局彻底逆转

荷兰豆爱健康
2026-05-30 18:48:40
阿森纳1-0击败大巴黎,哈弗茨闪击,欧冠冠军近在咫尺

阿森纳1-0击败大巴黎,哈弗茨闪击,欧冠冠军近在咫尺

大汉体育解说
2026-05-31 01:22:03
周美青出手也无济于事,马办确认移送检调,萧旭岑对金溥聪出手!

周美青出手也无济于事,马办确认移送检调,萧旭岑对金溥聪出手!

潘冹旅行浪子
2026-05-29 21:30:56
电动车集体砍掉AM收音机:一场信号战争的代价

电动车集体砍掉AM收音机:一场信号战争的代价

Ping值焦虑
2026-05-26 02:16:48
再见了,蓝岛大厦!6月1日起全面停业,33年老地标将变身全球IP首发中心

再见了,蓝岛大厦!6月1日起全面停业,33年老地标将变身全球IP首发中心

北京商报
2026-05-30 14:07:47
老公月薪8000,我20000,上周我提离婚他秒同意!昨天办完手续,我说可能还需他帮忙,他竟冷冷说:“不用了”。

老公月薪8000,我20000,上周我提离婚他秒同意!昨天办完手续,我说可能还需他帮忙,他竟冷冷说:“不用了”。

背包旅行
2026-05-30 15:13:07
凌晨2点,7名男子突然从纽约下水道爬出,接下来一幕让警方都懵了

凌晨2点,7名男子突然从纽约下水道爬出,接下来一幕让警方都懵了

华人生活网
2026-05-31 02:35:45
为何说在青藏无人区,晚上烧火取暖等于找死?

为何说在青藏无人区,晚上烧火取暖等于找死?

心中的麦田
2026-05-19 19:21:27
贾浅浅被查!清华天才少女蒋方舟还藏得住吗?

贾浅浅被查!清华天才少女蒋方舟还藏得住吗?

不正确
2026-04-09 11:42:04
为190元榴莲千里维权商家收到人身威胁言论,称已报警,并起诉“仅退款”买家索赔

为190元榴莲千里维权商家收到人身威胁言论,称已报警,并起诉“仅退款”买家索赔

红星新闻
2026-05-29 22:21:07
美国发话也不行,中方正式通告全球:打日本,中国具备“正当性”

美国发话也不行,中方正式通告全球:打日本,中国具备“正当性”

凤语谈
2026-05-28 12:13:58
2026-05-31 03:11:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
4179文章数 52关注度
往期回顾 全部

科技要闻

车圈大佬发声:价格战远去,但竞争仍残酷

头条要闻

两名9岁女孩被困电梯近2小时 求救几十次物业无动于衷

头条要闻

两名9岁女孩被困电梯近2小时 求救几十次物业无动于衷

体育要闻

岁月不饶人!39岁德约鏖战近5小时拼到呕吐

娱乐要闻

张碧晨《歌手》 “活人微死” 自嘲

财经要闻

双汇管不住一头猪

汽车要闻

900V+3.2秒破百 领克10+&领克10上市16.99万元起

态度原创

数码
手机
时尚
游戏
公开课

数码要闻

华擎RX 9070 XT太极十周年版曝光:黑白金配色首次亮相

手机要闻

REDMI K90至尊版入网?K90单品激活破200万

美回巅峰的她们,带火的这些爆款真的好用吗

巫师3新DLC跨十年:年轻玩家在初发售时还是小孩!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版