波兰Usenet在2016年8月到12月期间消息量断崖式下滑,几乎归零。全球最大的文本讨论网络正在被论坛、脸书和推特取代,不再有新鲜内容流入。Google Groups早已成为一个无法正常使用的笑话,而互联网档案馆收录的波兰Usenet存档也严重残缺。曾经承载无数技术讨论、兴趣小组和早期网络文化的Usenet,正在慢慢腐烂。
开发者 wolfpld 发起了Usenet Archive Toolkit(UAT)项目,想为这项濒死的老协议建一座数字图书馆。该项目提供一整套专用工具,将来自不同来源的Usenet消息处理成统一、可搜索的档案。已有的成品包括波兰Usenet完整档案(可通过usenet.nereid.pl访问)和PC游戏讨论组档案(托管于archive.org)。
![]()
UAT的设计思路是把复杂的数据抢救工作拆成多个单功能的小工具。目录中包含 nntp-get 负责从NNTP服务器拉取消息,import-source-mbox 和 import-source-maildir 处理本地邮箱格式的备份,extract-msgid 和 extract-msgmeta 提取消息ID与元数据,kill-duplicates 去除重复,filter-spam 过滤垃圾信息,utf8ize 负责字符编码转换。还有一套查询与浏览工具:query 和 query-raw 支持搜索,tbrowser 则是一个终端下的消息阅读器,可以直接打开本地打包的档案进行翻阅。
![]()
整个链条的终点是一份经过清洗、去重、统一编码并可按线程阅读的存档。开发者提到,一个月的业余时间就做出了能用的原型,再一个月完成波兰语支持和bug修复。这种务实、拼接小工具的哲学,也让UAT可以灵活适配不同的数据抢救场景。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.