网易首页 > 网易号 > 正文 申请入驻

爬虫已死:我用AI干掉了300行正则表达式

0
分享至

八年前,我花了整整两周写了一套PDF解析脚本。42个正则表达式,专门对付发票格式。上周客户换了个新模板,全崩了。

这不是个例。每个做过数据提取的工程师都懂这种痛:Beautiful Soup对付网页布局微调,Selenium等渲染等到天荒地老,PDF解析更是玄学——同样的供应商,换台打印机导出,你的正则就废了。


更隐蔽的成本是维护。我统计过自己三年前的项目:67%的"技术债务"来自这些脆弱的提取脚本。不是逻辑复杂,是太脆弱。布局变、编码变、甚至字体变,都能让你半夜接报警电话。


大模型出现之后,我试了一条完全不同的路。不再告诉计算机"怎么找",而是直接说"找什么"。

这个思路最终变成了Snapparse。但把想法做成能用的产品,踩的坑比预想的多得多。

第一个坎:文件太大,模型吃不下

50页的PDF、100MB的会议录音,直接丢进API?想多了。

上下文窗口是硬约束。你得把文档切碎,但切法本身就有讲究——按页切可能打断表格,按段落切可能拆散条款。更麻烦的是多模态:PDF里混着扫描件和文字,你得让模型同时"看懂"图片和"读透"文字。

音频更折腾。Whisper转录之后再提取,延迟直接翻倍。我们最后做了个流式处理:边转录边送模型,把串行改成并行,才把时间压到可接受范围。

第二个坎:概率模型要吐出确定性的JSON

这是AI工程里的"最终Boss"。

LLM本质是概率生成,今天给你个带注释的JSON,明天可能就漏个括号。但数据库不认这个,schema对不上直接报错。

我们的解法是用schema反向约束模型。用户先定义好字段名、类型、描述,比如:

parties: 数组,涉及方名称
effective_date: 日期,合同生效时间
termination_clause: 字符串,终止条款摘要
total_value: 数字,总金额(如有)

这套schema同时干两件事:一是写进prompt告诉模型"按这个格式来",二是输出后用Zod做严格校验。双重保险之下,才能把"大概对"变成"百分百能用"。

Snapparse到底做了什么不一样的


技术上四个点:

1. 多模态 ingestion。PDF、网页、音频全吃,尤其音频——你可以直接丢一个会议MP3进去,出来就是结构化纪要。

2. 邮件流水线。每个提取器自动生成专属邮箱地址,附件发过去,JSON自动推送到你的webhook。不用写代码,商务同事都能用。

3. 仪表盘里塞了个AI副驾。不用翻文档,直接问"帮我建个发票提取器"或者"查我这月用了多少额度",它直接操作。

4. 定价。9.99美元100个credit,比市面主流方案便宜一半。

流程也极简:API、仪表盘、邮件三选一丢进去,AI分析内容,结构化数据出来。

但最颠覆的不是技术,是工作流

以前提取数据是"开发任务"——写代码、测边界、修bug、维护。现在变成"配置任务":描述你要什么,系统自己搞定。

这个转变意味着,非技术团队也能做以前必须排期给工程师的事。财务想抓发票数据?自己配。法务要审合同条款?自己配。IT部门从"需求承接方"变成"平台运营方",这是组织架构层面的变化。

当然,AI提取不是万能的。对精度要求100%的场景,比如金融清算,传统规则引擎仍有优势。但80%的提取需求,其实不需要那么重的工程投入。

我那个42个正则的发票项目,上周用Snapparse重写了。15分钟配置,覆盖之前三个月写的代码量。客户再换模板?改一句描述就行。

这才是工具该有的样子:让你忘记工具本身,专注在要解决的事上。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
莫氏鸡煲流量兴衰:排队 7 小时到冷清,皆因迷失初心

莫氏鸡煲流量兴衰:排队 7 小时到冷清,皆因迷失初心

椰青美食分享
2026-05-15 03:07:50
心理学:要想让任何人信任你、喜欢你,对你上头,最有效的方法就是掌握并使用这两个效应

心理学:要想让任何人信任你、喜欢你,对你上头,最有效的方法就是掌握并使用这两个效应

心理观察局
2026-05-15 09:02:21
“空军一号”下的中国军人,何以“稳如磐石”?

“空军一号”下的中国军人,何以“稳如磐石”?

大象新闻
2026-05-14 16:54:12
同学聚会上,我给初恋敬酒,她悄悄对我说:我儿子长得很像你

同学聚会上,我给初恋敬酒,她悄悄对我说:我儿子长得很像你

千秋文化
2026-05-09 20:05:09
网传央视发出邀请函:将全程直播世界杯 2天后举办发布会正式官宣

网传央视发出邀请函:将全程直播世界杯 2天后举办发布会正式官宣

念洲
2026-05-15 11:20:35
特朗普43岁小儿媳穿旗袍赴宴,华裔设计师作品,前私教自认普通

特朗普43岁小儿媳穿旗袍赴宴,华裔设计师作品,前私教自认普通

译言
2026-05-15 12:26:05
场均1.5分,签4年9280万?离开詹姆斯,布朗尼NBA生涯恐要终结!

场均1.5分,签4年9280万?离开詹姆斯,布朗尼NBA生涯恐要终结!

体育大朋说
2026-05-15 11:56:30
“闭嘴,xx养的”东契奇你咋又骂人!!

“闭嘴,xx养的”东契奇你咋又骂人!!

柚子说球
2026-05-15 10:27:06
你嫁婆家后因为啥事一举成名过?网友:弄的沸沸扬扬人尽皆知

你嫁婆家后因为啥事一举成名过?网友:弄的沸沸扬扬人尽皆知

另子维爱读史
2026-05-14 07:34:57
男子酒后执意要开车,女友劝阻无效后下车走人,警方调查发现其并非第一次酒驾,已被刑事立案侦查

男子酒后执意要开车,女友劝阻无效后下车走人,警方调查发现其并非第一次酒驾,已被刑事立案侦查

极目新闻
2026-05-14 22:36:50
“电鸡”在越秀被扣却须远赴从化取回?羊晚记者实地走访

“电鸡”在越秀被扣却须远赴从化取回?羊晚记者实地走访

天气观察站
2026-05-15 09:00:49
扛不住了!超80%充电桩运营商陷入亏损:每度电净利仅4分钱

扛不住了!超80%充电桩运营商陷入亏损:每度电净利仅4分钱

透视到底
2026-05-07 01:19:30
基本盘不是贬义词

基本盘不是贬义词

关尔东
2026-05-13 23:41:38
太唏嘘!“孕妇泰国坠崖案”王暖暖,一手好牌,终究被自己打烂了

太唏嘘!“孕妇泰国坠崖案”王暖暖,一手好牌,终究被自己打烂了

华人星光
2026-05-14 10:48:05
曝黑海舰队成铁笼!俄乌战争以来首次安装无人机“防护网”

曝黑海舰队成铁笼!俄乌战争以来首次安装无人机“防护网”

项鹏飞
2026-05-12 18:14:38
马航370凭空消失,一位美国中情局退休特工说出真相,后来被灭口

马航370凭空消失,一位美国中情局退休特工说出真相,后来被灭口

文史达观
2024-08-10 13:53:48
现在的新车,外观真就一个模子了吗。。。

现在的新车,外观真就一个模子了吗。。。

差评XPIN
2026-05-15 00:11:47
5月底运势最旺的3个生肖:靠人品开路,财神爷追着送财

5月底运势最旺的3个生肖:靠人品开路,财神爷追着送财

毅谈生肖
2026-05-15 12:04:42
魏长仁:出境游不再是大众旅游

魏长仁:出境游不再是大众旅游

劲旅网
2026-05-14 14:04:21
29岁未婚花50万试管生三胞胎,8年后她过得怎么样?

29岁未婚花50万试管生三胞胎,8年后她过得怎么样?

子芫伴你成长
2026-05-14 23:10:42
2026-05-15 14:15:00
硬核玩家2哈
硬核玩家2哈
沉淀中,勿扰
2772文章数 13关注度
往期回顾 全部

科技要闻

两年联姻一地鸡毛,传苹果OpenAI濒临决裂

头条要闻

特朗普访华"二号位"系美国驻华大使 其曾受超规格礼遇

头条要闻

特朗普访华"二号位"系美国驻华大使 其曾受超规格礼遇

体育要闻

德约科维奇买的球队,从第6级联赛升入法甲

娱乐要闻

方媛回应住男生单人间:女孩的配得感

财经要闻

特朗普的北京时刻

汽车要闻

双零重力座椅/AI智能体/调光天幕 启境GT7内饰发布

态度原创

数码
教育
游戏
房产
公开课

数码要闻

单台9.8PB!戴尔将40块245TB 铠侠SSD塞进一台2U服务器:一台顶一套豪宅

教育要闻

赶紧看!2026山东三模试题+答案!

国行Switch今晚22时正式停服 数字游戏抓紧下载

房产要闻

海南楼市新政要出!拟调公积金贷款额度,最高可贷168万!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版