网易首页 > 网易号 > 正文 申请入驻

早晨新闻全是重复推送?他自托管了MuckScraper,用本地LLM聚合去重

0
分享至

每天早上,科技编辑的“信息早课”已经变成一场重复轰炸——五六个应用刷下来,其实就三件事,穿着不同标题的外衣轮番出现。不是漏了什么,而是同一段新闻被包装出五个版本,消耗的不只是时间,更是注意力带宽。当“今天有什么新事”变成“这标题昨天已经见过”,早晨的阅读已经从获取信息退化成做减法。

这不是某一家媒体的锅。媒体编辑按自己的角度写标题太正常了,但读者面对的是信源矩阵:Google News、Reddit、X、几家新闻App,再加几封电子邮件摘要。每个渠道都觉得自己提供了筛选价值,可叠加在一起就成了复读机。更折腾人的是,同样的结论被不同标题伪装成独立报道,让人忍不住各点一遍,点完才发现讲的还是那件事。


试过几家AI聚合工具,要么免费额度少得可怜,要么数据全走云端API,隐私和自由度双双打折扣。于是回头找自己能掌控的方案,在 r/selfhosted 发现了 MuckScraper——一个开源项目,能自己指定信源,自动对重复报道做聚类,再把同主题的若干篇文章扔给本地大语言模型生成一条摘要。整套流程跑在本地硬件上,不开云端。

部署比想象中顺畅,基本开箱即用,但对个人工作流来说还没到完美。它的价值在于把“人工过滤重复”这件事交给了机器,而且过程透明可定。选了哪些 RSS 源、聚类阈值怎么设、用哪个本地模型做摘要,都可以自己调。第一次看到它把三个科技媒体对三星新表的报道压成一条要点时,那种“终于不用手动比对标题了”的爽感很实在。

不过,本地 LLM 的摘要质量受限于模型大小,偶尔会丢一些细节,比如参数表里某个传感器规格,或者文章的微妙评价语气。好处是响应快、零延迟、不依赖网络,大早上断网也能跑。如果愿意投入时间调 Prompt 和模型,摘要完全可以做到只留干货,去掉那些“据外媒报道”的套娃开场。

MuckScraper 不代表新闻消费的终极答案,但它提供了一个很清晰的方向:信息筛选的控制权应该回到用户手里。不是把五个 App 的重复推送硬塞过来,而是先帮你去重,再让你决定看什么。对每天早上被同样三条新闻追着跑的人来说,这个思路本身就已经足够解压。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中科院研究员黄学杰:可以随时充电,手机每次充到80%,别整晚充电,别把电量用完!网友:那每次都只用80%不到的电量,和坏了有啥区别?

中科院研究员黄学杰:可以随时充电,手机每次充到80%,别整晚充电,别把电量用完!网友:那每次都只用80%不到的电量,和坏了有啥区别?

大白聊IT
2026-07-21 01:21:07
一位34岁大龄剩女的相亲标准:“想娶我,必须要满足这三个条件”

一位34岁大龄剩女的相亲标准:“想娶我,必须要满足这三个条件”

多久情感
2026-07-20 11:55:45
美伊激战正酣,谁会想到,最先倒下国家会是它,中国应做最坏准备

美伊激战正酣,谁会想到,最先倒下国家会是它,中国应做最坏准备

万物知识圈
2026-07-19 09:42:20
知名港星离婚!是情场浪子本性难移,还是承受不住妻子的双重丑闻

知名港星离婚!是情场浪子本性难移,还是承受不住妻子的双重丑闻

文刀贰
2026-07-21 15:27:35
人生最大的愚蠢 ,就是把千辛万苦赚来的钱借给别人

人生最大的愚蠢 ,就是把千辛万苦赚来的钱借给别人

风起见你
2026-06-22 08:01:38
台湾军情局六处副处长庞大为,潜入广州秘密策反解放军少将,亲手搅乱96年台海军演,这位两岸谍战第一人,晚年迎来了什么结局?

台湾军情局六处副处长庞大为,潜入广州秘密策反解放军少将,亲手搅乱96年台海军演,这位两岸谍战第一人,晚年迎来了什么结局?

磊子讲史
2026-07-15 15:39:34
小女儿自称照顾九旬母亲多年,替男友争取财产,母亲无奈:饭都是自己煮

小女儿自称照顾九旬母亲多年,替男友争取财产,母亲无奈:饭都是自己煮

福建第一帮帮团
2026-07-20 21:53:45
印度向比亚迪开出巨额罚单,坑技术坑钱全落空,急眼反闹国际笑话

印度向比亚迪开出巨额罚单,坑技术坑钱全落空,急眼反闹国际笑话

王新喜
2026-07-18 22:01:23
又出事了?日本排华情绪大爆发,高喊滚出日本!百万华人咋办?

又出事了?日本排华情绪大爆发,高喊滚出日本!百万华人咋办?

兵鉴史
2026-06-07 12:30:44
美国6艘舰艇调往菲律宾,美国只要敢动,黄岩岛必填!

美国6艘舰艇调往菲律宾,美国只要敢动,黄岩岛必填!

阿龙聊军事
2026-07-20 21:28:04
上海银行发布关于防范仿冒该行名义虚假保函的声明

上海银行发布关于防范仿冒该行名义虚假保函的声明

财经网
2026-07-21 14:33:07
那年,杨超越还是个厂妹,在厂里啃馒头

那年,杨超越还是个厂妹,在厂里啃馒头

微微热评
2026-07-08 23:03:27
底层的戾气越来越重了。

底层的戾气越来越重了。

老陆不老
2026-07-19 09:07:40
前妻当局长后要调我去喂猪,我指红色电话:明天上级告诉你我是谁

前妻当局长后要调我去喂猪,我指红色电话:明天上级告诉你我是谁

千秋文化
2026-07-18 19:00:32
媒体报道称,泽连斯基考虑用德拉帕蒂取代西尔斯基

媒体报道称,泽连斯基考虑用德拉帕蒂取代西尔斯基

山河路口
2026-07-21 14:27:24
太尴尬了!邹市明被倪萍怒斥“我觉得他没大有是非观”,冉莹颖全程隐忍退让丈夫

太尴尬了!邹市明被倪萍怒斥“我觉得他没大有是非观”,冉莹颖全程隐忍退让丈夫

火山詩话
2026-07-21 06:44:40
黄健翔:西班牙对法国、阿根廷都是碾压,梅西只是输给了时间

黄健翔:西班牙对法国、阿根廷都是碾压,梅西只是输给了时间

懂球帝
2026-07-20 19:16:19
最会讲脱口秀的那批人,全跑了?

最会讲脱口秀的那批人,全跑了?

四味毒叔
2026-07-20 15:23:17
3连胜!CCTV5播中国女排VS美国,赵勇对二传做取舍,李晨瑄迎机会

3连胜!CCTV5播中国女排VS美国,赵勇对二传做取舍,李晨瑄迎机会

体育大学僧
2026-07-21 08:58:16
零票支持!日本议会爆发倒戈潮,高市早苗修改无核三原则彻底无望

零票支持!日本议会爆发倒戈潮,高市早苗修改无核三原则彻底无望

阿晪美食
2026-07-21 15:10:40
2026-07-21 16:27:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
317文章数 75关注度
往期回顾 全部

科技要闻

智谱暴跌,Kimi只是导火索

头条要闻

男子工亡哥哥获赔116万 分居多年妻子起诉索还91.6万

头条要闻

男子工亡哥哥获赔116万 分居多年妻子起诉索还91.6万

体育要闻

西班牙队夺冠游行庆典:200万人,狂欢5小时

娱乐要闻

谢贤被曝已火葬,狄波拉携儿女送别

财经要闻

创业板指涨超7% 半导体产业链全线爆发

汽车要闻

热爱驾驶的更棒选择 极氪8X让大块头也有大乐趣

态度原创

亲子
游戏
艺术
本地
公开课

亲子要闻

梦幻童话世界,带娃探访小王子的星球

IGN试玩GF社新作《轮回之兽》!只狼+剑星+FF7+尼尔融合怪?

艺术要闻

山林溪艺术中心开馆主题展览《连续的清晨》启幕

本地新闻

2026暑期旅行新灵感:跟着影视去旅行

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版