网易首页 > 网易号 > 正文 申请入驻

弃用消息队列,CLA用2张Lakebase表实现审计文档AI处理小时→分钟

0
分享至

在传统审计流程中,文档审阅与信息提取往往是耗时且繁琐的环节。为了改变这一局面,专业服务公司 CLA 与 Databricks 前瞻部署工程团队合作,共同构建并投产了一套基于 AI 代理的审计解决方案。

这套系统将文档提取时间从数小时压缩至数分钟,且不牺牲质量。整项应用完全构建于 Databricks 生态之上,其核心编排层正是本文重点——一个由 Lakebase Postgres 驱动的任务调度与可观测性引擎。


面对代理工作负载在编排上的挑战,团队设计了一套完全依托于 Databricks 原生能力的参考架构。该架构将 Lakebase、Databricks Apps、Lakeflow Jobs、MLflow 和 Unity Catalog Volumes 串联成一条端到端的文档解析流水线,专门处理长期运行的代理任务。其核心理念在于,通过 Lakebase 和 Databricks Apps 即可完全去除对独立消息队列、调度器与外部可观测性基础设施的依赖。

在此架构中,Lakebase 本身承担起了编排骨干的角色。方案深入展示了如何仅凭一对 Lakebase 表,就构建出一个持久、具备高并发能力且可抵抗崩溃的任务队列。

具体实现囊括了多项关键机制:任务队列的基础实现、具备优先级感知的并发出队逻辑、通过基于租约的锁定进行故障恢复、内置速率限制意识的节流控制,以及确保幂等性的 Webhook 回调。

同时,Lakebase 的存算分离特性使该模式在大规模场景下变得切实可行。计算资源可随需求弹性伸缩,而存储则保持持久且独立,这为 Databricks 上长期运行的代理工作负载提供了一种更简洁、可扩展的编排范式。

除了稳健的任务执行,系统还实现了零开销的实时可观测性。通过利用 Postgres 的 LISTEN/NOTIFY 触发器,并配以服务器推送事件,方案打造了一个低延迟的运营看板。该看板能够自动追踪成本和任务进度,具备实时监控与不变性验证能力,并为每个应用提供了精细的成本归属视图。

文档解析作为一种常见且量大的代理工作负载,广泛存在于各行各业的合同、发票、财务申报等文件处理中。CLA 这套完全根植于 Databricks 原生技术的解决方案,为审计及更广泛的文档密集型行业提供了可借鉴的工程路径,证明了无需额外基础设施即可实现复杂 AI 代理流程的生产级落地。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
8月1日正式执行!燃油车重大改革落地,年检、卖车、买车全改

8月1日正式执行!燃油车重大改革落地,年检、卖车、买车全改

三农老历
2026-07-21 14:14:47
恋情真相曝光之后,孙颖莎连收三大好消息,彻底和王楚钦拉开距离

恋情真相曝光之后,孙颖莎连收三大好消息,彻底和王楚钦拉开距离

舍长阿爷谈事
2026-07-23 10:18:50
Kimi K3登顶全球算力第一:中国AI系统性超越美国大势已定

Kimi K3登顶全球算力第一:中国AI系统性超越美国大势已定

水舟子
2026-07-22 01:24:20
杀手宣誓书引爆菲律宾弹劾法庭!两大参议员当场围攻众院女检察官

杀手宣誓书引爆菲律宾弹劾法庭!两大参议员当场围攻众院女检察官

兰妮搞笑分享
2026-07-23 18:04:27
溪美村男童溺水后续!母亲被其父扇巴掌,目击者发声,外婆吓瘫坐

溪美村男童溺水后续!母亲被其父扇巴掌,目击者发声,外婆吓瘫坐

社会日日鲜
2026-07-22 13:19:33
网传iPhone 18 Pro Max国内售价约1.1万 追平国产阔折叠

网传iPhone 18 Pro Max国内售价约1.1万 追平国产阔折叠

CNMO科技
2026-07-21 13:20:09
东风导弹泄密案!间谍郭万钧一家三口,全部被处以死刑

东风导弹泄密案!间谍郭万钧一家三口,全部被处以死刑

番外行
2026-03-31 08:28:28
4000万工程10万干,“先富起来”的是谁?

4000万工程10万干,“先富起来”的是谁?

布衣乱弹
2026-07-20 07:41:19
太阳报:费兰在西班牙的夺冠庆功会上与歌手安娜-梅纳调情

太阳报:费兰在西班牙的夺冠庆功会上与歌手安娜-梅纳调情

懂球帝
2026-07-23 03:08:08
“牡丹花下死,做鬼也风流”!这一次,75岁的张纪中彻底成了笑话

“牡丹花下死,做鬼也风流”!这一次,75岁的张纪中彻底成了笑话

小鱼爱鱼乐
2026-07-15 12:14:00
难以置信!邹市明23次提出分手,都被冉莹颖摆平,网友怒斥邹市明妻子是典型的NPD人格

难以置信!邹市明23次提出分手,都被冉莹颖摆平,网友怒斥邹市明妻子是典型的NPD人格

火山詩话
2026-07-21 13:32:22
黄英贤称对中菲在南海发生的事件表示严重关切,中方:明眼人都看得出,海上一有风吹草动,就跳出来反对中国的始终就是那么一小撮国家

黄英贤称对中菲在南海发生的事件表示严重关切,中方:明眼人都看得出,海上一有风吹草动,就跳出来反对中国的始终就是那么一小撮国家

政知新媒体
2026-07-22 15:28:30
父亲晒200万海归女儿,放话啥男孩才配,网友一句话戳破残酷现实

父亲晒200万海归女儿,放话啥男孩才配,网友一句话戳破残酷现实

阿郎娱乐
2026-07-22 09:58:39
1962年中印开战前,耿飚连夜派人翻墙通知印度外交官:中国反击了

1962年中印开战前,耿飚连夜派人翻墙通知印度外交官:中国反击了

元哥说历史
2026-06-06 06:45:06
吉利银河TT Ultra预售27分钟售罄,首发999台预售价20.98万元

吉利银河TT Ultra预售27分钟售罄,首发999台预售价20.98万元

字节漫游指南
2026-07-22 18:33:19
新中国绑架第一案:撕票杀警22人,只差10米逃到越南,被武警击毙界河中

新中国绑架第一案:撕票杀警22人,只差10米逃到越南,被武警击毙界河中

军武次位面
2026-07-22 17:33:46
海外仓库光模块被偷?东山精密回应

海外仓库光模块被偷?东山精密回应

界面新闻
2026-07-23 09:36:45
李睿任惠东县人民政府副县长

李睿任惠东县人民政府副县长

南方都市报
2026-07-23 16:34:16
非法收受财物超22亿元,杨有林一审被判死刑:犯罪情节特别严重,社会影响特别恶劣

非法收受财物超22亿元,杨有林一审被判死刑:犯罪情节特别严重,社会影响特别恶劣

每日经济新闻
2026-07-06 21:58:54
吴克群发文回应买250吨西瓜助力瓜农:除了在开封、郑州免费给大家吃,还将运往全国不同地方,让大家都品尝到这份甜,河南西瓜,真的很中

吴克群发文回应买250吨西瓜助力瓜农:除了在开封、郑州免费给大家吃,还将运往全国不同地方,让大家都品尝到这份甜,河南西瓜,真的很中

台州交通广播
2026-07-23 06:51:36
2026-07-23 19:55:00
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
431文章数 58关注度
往期回顾 全部

科技要闻

梁文锋:DeepSeek不争超级App,只押注AGI

头条要闻

事关"谢贤遗产分配" 谢霆锋方发布严正声明

头条要闻

事关"谢贤遗产分配" 谢霆锋方发布严正声明

体育要闻

勇士24岁的MVP,也是个勒布朗?

娱乐要闻

梁朝伟汤唯19年后境遇反转

财经要闻

梁文锋当不成赛博圣人

汽车要闻

放弃花里胡哨!比亚迪秦MAX这波家用大满配,才是真正的家用战神!

态度原创

游戏
本地
房产
公开课
军事航空

《血源》为啥不出PC、复刻?前PS总裁回应了!

本地新闻

跟着影视去旅行:西游篇

房产要闻

狂抢111轮,溢价39%,楼面价刺破9500!海口土拍杀疯了!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

"镐山"之后美再威胁袭伊基础设施 伊朗:将以牙还牙

无障碍浏览 进入关怀版