网易首页 > 网易号 > 正文 申请入驻

字节流直喂ijson崩溃:OOM防护脚本翻车

0
分享至

一个目标很明确的验证脚本:单次执行的命令行工具,增量解析分块的字节流,用 Pydantic 做类型校验,再安全地聚合结果,全程不把整个载荷读进内存。理想的数据流是把从网络套接字或文件读到的字节块直接送进 ijson.items,把内存占用压到最低。


开发团队按这个思路写了第一版。生成器产出字节块,交给 ijson 解析,逐条取出 JSON 项,再交给校验器和聚合引擎。按设计,字节块从生成器流向解析器,解析器把增量提取出的字典交给 Pydantic,校验通过的记录进入聚合环节,累加总量与计数。

运行时,这套流程直接崩了。异常信息是 ValueError: not enough values to unpack (excepted 3, got 2),抛出位置在 ijson 的 coros2gen 函数里,也就是 ijson/utils.py 第 55 行的 f.send(value)。调用栈从主函数一路走到 process_stream 里的 for item in items,执行就此完全中止。

根因是一次协议层面的错配。ijson 的内部实现,无论是默认的 C 加速后端(例如 yajl2)还是纯 Python 后端,都不把原始的字节可迭代对象当作直接的解析目标。它用带 send() 方法的协程结构管理流控制,并依赖特定的元组结构(期望解包出 3 个元素)来衔接内部的事件驱动解析器与 Python 生成器。

把一个产出字节块的标准生成器直接作为第一个参数传给 ijson.items(),满足不了它内部期望的类文件对象接口——那种维护内部状态、暴露 read(n) 方法的对象。于是 coros2gen 协程桥接里的解包逻辑抛出 ValueError。文档里"ijson.items 可以接受字节可迭代对象"的解读,与实际实现之间存在落差。

为了绕开这个错误,团队评估并测试了两条补救路径。

  • 方案 A:用 io.BytesIO 全量缓冲。把生成器产出的所有字节块一次性拼接进内存,再作为类文件对象传入。错误完全消失,聚合结果也准确。但这是反模式,直接违背项目核心目标——防止巨大 JSON 响应在内存中膨胀导致 OOM 崩溃,因此必须否决。
  • 方案 B:实现自定义类文件读取器。继承 io.RawIOBase 构建适配器类 StreamIteratorReader,从生成器增量拉取字节块,并对外暴露 read(size)。这个类维护一个 bytearray 缓冲区,实现 readable() 返回 True,read() 在 size 为 0 时返回空字节,其余情况从生成器持续取块填充缓冲区。

两条路径的分野很清楚:一条用内存换省事,一条用适配层换内存。前者能让脚本跑通,却让整个验证失去意义;后者要写的代码更多,但保住了流式处理的初衷。对任何要在有限内存里处理大 JSON 的场景,这个选择没有中间地带。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
万项:目前我还是坚持留在国外,会拿出100%的努力去面对摩洛哥

万项:目前我还是坚持留在国外,会拿出100%的努力去面对摩洛哥

懂球帝
2026-11-22 04:52:29
抢黄珊珊票?沈伯洋秀签名书!蒋万安先后与柯文哲、宋楚瑜合体

抢黄珊珊票?沈伯洋秀签名书!蒋万安先后与柯文哲、宋楚瑜合体

时光新点滴
2026-11-22 11:22:59
卢海鹏送别返加拿大儿子,设宴饯行难舍难分,父子聚少离多罕同框

卢海鹏送别返加拿大儿子,设宴饯行难舍难分,父子聚少离多罕同框

树娃
2026-11-22 12:28:17
忘恩负义,见钱眼开,动手成瘾,谁也救不了“狂妄自大”的陈百祥

忘恩负义,见钱眼开,动手成瘾,谁也救不了“狂妄自大”的陈百祥

云舟史策
2026-11-21 07:08:58
奉劝所有人,一定要少吃,少吃,少吃,千万别不吃!

奉劝所有人,一定要少吃,少吃,少吃,千万别不吃!

荷兰豆爱健康
2026-11-22 00:06:23
“早小雪冻死牛,晚小雪暖烘烘”,22日小雪,今年冬天是早是晚?

“早小雪冻死牛,晚小雪暖烘烘”,22日小雪,今年冬天是早是晚?

青梅侃史啊
2026-11-22 09:52:50
历史上什么事件,你感觉是天佑中华?

历史上什么事件,你感觉是天佑中华?

文一史二
2026-11-22 07:30:19
裤衩开叉10厘米!被网暴5年!铁三女神夺亚军又被骂,裁判:合规

裤衩开叉10厘米!被网暴5年!铁三女神夺亚军又被骂,裁判:合规

番外行
2026-06-07 15:53:29
4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

一丝不苟的法律人
2026-11-15 17:01:02
申京空砍28+11+10火箭不敌掘金,杜兰特仅16分约基奇26分11助

申京空砍28+11+10火箭不敌掘金,杜兰特仅16分约基奇26分11助

湖人崛起
2026-11-21 13:38:41
长安大学回应“14日面试13日出结果”

长安大学回应“14日面试13日出结果”

界面新闻
2026-11-21 20:15:09
中餐为啥不能把白酒推向全世界 ?评论区引发万千共鸣!都太敢说了

中餐为啥不能把白酒推向全世界 ?评论区引发万千共鸣!都太敢说了

另子维爱读史
2026-11-19 20:42:09
董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

念洲
2026-11-22 08:49:31
61-73,爆冷!广东不敌香港金牛出局,媒体人直言四大问题暴露无遗

61-73,爆冷!广东不敌香港金牛出局,媒体人直言四大问题暴露无遗

你笑的好甜美
2026-11-22 12:20:32
韩路回应被Tim超越:承认差距,但不存在无力感

韩路回应被Tim超越:承认差距,但不存在无力感

阿废冷眼观察所
2026-11-21 11:56:53
只有穆帅能玩得转!穆帅为皇马带来轮换新思维,拒绝固定首发11人传统观念

只有穆帅能玩得转!穆帅为皇马带来轮换新思维,拒绝固定首发11人传统观念

福酱的小时光
2026-11-21 17:17:43
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
逆天了!女子路边要求抽烟男子灭烟,男子没理继续抽,女子当场破防指责没公德心

逆天了!女子路边要求抽烟男子灭烟,男子没理继续抽,女子当场破防指责没公德心

一丝不苟的法律人
2026-11-06 11:25:57
大妈花50万买基金,账号忘了15年,孙子找回看到余额,全家愣住了

大妈花50万买基金,账号忘了15年,孙子找回看到余额,全家愣住了

黄家湖的忧伤
2025-08-12 17:05:12
克里米亚大桥恢复列车运行

克里米亚大桥恢复列车运行

新华社
2026-11-21 20:18:05
2026-11-22 13:59:00
像素与芯片
像素与芯片
有态度网友ytd
205文章数 85关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

数码
旅游
时尚
教育
亲子

数码要闻

华为WATCH GT6获鸿蒙7.0.0.108SP8升级,表端支持微信来电接听和挂断

旅游要闻

留在紫柏山的张良背影

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

教育要闻

日常英语:合租的问题

亲子要闻

11月20日,山东诸城。“杂技团”式户外运动真的安全吗?

无障碍浏览 进入关怀版