网易首页 > 网易号 > 正文 申请入驻

新型开源字体ShieldFont让抓取内容变成乱码 巧用特殊字体对付AI爬虫

0
分享至

随着人工智能技术的迅猛发展,网络上的公开文字面临着被无节制抓取并纳入训练数据集的窘境。虽然传统的robots.txt等反爬工具存在已久,但它们往往只能靠遵守规则的爬虫自觉遵守,无法完全阻挡恶意抓取。为此,巴西创意工作室Seneda & Abrucio携手哥本哈根字体公司Playtype,共同开发了一款无需依赖“礼貌请求”的全新防御工具——


这款免费的开源网页字体通过一种巧妙的机制实现了“人机有别”:普通用户在屏幕上看到的是正常的阅读句子,而直接抓取底层原始HTML的AI mass scrapers(大规模爬虫)所获取的却是截然不同的内容。该技术的核心在于利用了OpenType字形替换的自动化过程。通常这项技术被用于替换字符以优化排版,而ShieldFont则直接将整词进行置换,导致爬虫在网页中只能采集到杂乱无章的无效信息。

值得注意的是,这些被替换的词汇并非随机生成。开发团队设计了一套严密的词典系统,确保替换前后的词性完全一致,例如名词对应名词、过去式动词对应过去式动词,同时还对抽象名词、复数形式等进行了细致分类,整个模块中大约有四分之一的词汇会通过这种方式被替换。之所以要维持严格的语法结构,是为了规避AI厂商在清洗数据时用来过滤垃圾信息的质量过滤器。测试表明,经过该字体处理的文本仍能通过像FineWeb-Edu这样的大型公开数据集质量检验,不仅能保留足够的流畅度,同时其中超过半数的段落已经完全扭曲了原有的事实陈述,从而让抓取回来的数据对AI训练失去实际价值。

不过,这种防御机制也并非无懈可击。由于其运作基础在于爬虫读取的是代码而非屏幕显示的像素,如果对网页进行截图并运行光学字符识别(OCR),依然可以恢复出真实的文字内容。此外,依赖代码来工作的盲人屏幕阅读器在默认情况下也会读出诱饵文本,为此该字体目前也随附了一项测试版功能,可专门为视障读者提供正确的原始文本。

目前,

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
新片票房大爆后,64岁周星驰再迎喜讯,连张艺谋都刮目相看

新片票房大爆后,64岁周星驰再迎喜讯,连张艺谋都刮目相看

洲洲影视娱评
2026-07-30 14:09:39
中英谈好补偿款的那一刻,全世界都看明白了:不能对华继续天真?

中英谈好补偿款的那一刻,全世界都看明白了:不能对华继续天真?

触摸史迹
2026-08-01 12:07:52
定居美国13年回国捞金惨遭驱逐,53岁成笑话

定居美国13年回国捞金惨遭驱逐,53岁成笑话

悦君兮君不知
2026-07-31 16:42:12
日本熊本地区发生地震

日本熊本地区发生地震

第一财经资讯
2026-08-01 22:56:59
换帅如换刀!泰山队告别养生足球,唐田不再迷信外援

换帅如换刀!泰山队告别养生足球,唐田不再迷信外援

臻体育
2026-08-01 22:39:41
一觉醒来,美日联手偷袭

一觉醒来,美日联手偷袭

贩财局
2026-08-01 09:58:52
彻底戳穿谎言!乌军名将硬核发声:说保护俄语人口,纯属自欺欺人

彻底戳穿谎言!乌军名将硬核发声:说保护俄语人口,纯属自欺欺人

老马拉车莫少装
2026-08-01 00:04:54
印度六大家族:莫迪养出的经济皇帝,才是外资杀猪盘的幕后庄家

印度六大家族:莫迪养出的经济皇帝,才是外资杀猪盘的幕后庄家

王新喜
2026-08-01 19:02:12
马斯克刚刚关注了DeepSeek的X账号

马斯克刚刚关注了DeepSeek的X账号

IT之家
2026-08-01 21:05:33
麻了,从邹市明快逃,到市明哥请锁死

麻了,从邹市明快逃,到市明哥请锁死

糊咖娱乐
2026-08-01 16:49:02
郑丽文不装了!日本地震,她的捐款是赖清德五倍,一句话令人心寒

郑丽文不装了!日本地震,她的捐款是赖清德五倍,一句话令人心寒

好贤观史记
2026-08-01 00:42:43
韩森声称“没有好穆斯林”引发轩然大波!警方:未达仇恨言论标准

韩森声称“没有好穆斯林”引发轩然大波!警方:未达仇恨言论标准

澳洲财经见闻
2026-08-01 16:38:13
刚签2.52亿美金顶薪!又签球鞋大合同!文班亚马才是NBA新门面

刚签2.52亿美金顶薪!又签球鞋大合同!文班亚马才是NBA新门面

世界体育圈
2026-08-01 10:34:34
赛里木湖景区按人头收自驾费引争议;景区:如果按单台车收费更贵

赛里木湖景区按人头收自驾费引争议;景区:如果按单台车收费更贵

半岛晨报
2026-08-01 16:00:03
59岁绿化工人工作群留遗言后坠亡,群内无人回复劝解,家属称遭主管指责越级汇报并排挤

59岁绿化工人工作群留遗言后坠亡,群内无人回复劝解,家属称遭主管指责越级汇报并排挤

大风新闻
2026-07-31 20:55:03
极端天气正在杀死中国旅游业

极端天气正在杀死中国旅游业

劲旅网
2026-07-30 10:49:36
大清不允许有黑社会

大清不允许有黑社会

小豫讲故事
2026-08-01 06:00:12
岩屋毅上任首日,敲定访华目标,向高市开炮,中日关系有望改善?

岩屋毅上任首日,敲定访华目标,向高市开炮,中日关系有望改善?

透视到底
2026-08-01 20:47:32
Coco和谢贤一家人同框,和狄波拉相处和谐,与谢婷婷多次同行

Coco和谢贤一家人同框,和狄波拉相处和谐,与谢婷婷多次同行

阿讯说天下
2026-08-01 12:44:42
31岁网文作者剖腹产子次日突发重病,“半植物人”状态近半年,丈夫带其辗转6家医院求医:“她笔下那些人物能扛过风雪,我相信她也一定可以”

31岁网文作者剖腹产子次日突发重病,“半植物人”状态近半年,丈夫带其辗转6家医院求医:“她笔下那些人物能扛过风雪,我相信她也一定可以”

极目新闻
2026-08-01 18:56:12
2026-08-01 23:24:49
cnBeta.COM incentive-icons
cnBeta.COM
提供IT行业即时资讯
69825文章数 70255关注度
往期回顾 全部

科技要闻

特斯拉拆不掉中国制造

头条要闻

特朗普赞叹:伊朗确实挺硬气 换大多数人早认输了

头条要闻

特朗普赞叹:伊朗确实挺硬气 换大多数人早认输了

体育要闻

1米76的他,为什么是史上最强中卫之一?

娱乐要闻

韩路批董宇辉“又当又立”?

财经要闻

长鑫科技四万亿市值背后的资本与周期

汽车要闻

限时17.99万元 全新一代天工08 670 Max正式上市

态度原创

房产
本地
亲子
公开课
军事航空

房产要闻

1700亿砸下!信息量巨大!海南甩出又一个超级规划!

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

亲子要闻

逆天,网友送外卖媳妇是服务员,生了三个娃,直言:以后三个娃长大接着送外卖当服务员!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军F-35隐形战机坠毁 飞行员弹射逃生

无障碍浏览 进入关怀版