北京
暗网论坛里，同一个人可以今天叫"Ghost_77"，明天叫"夜行者"，后天换个语法习惯继续发帖。传统爬虫面对高防反爬和频繁换马甲，往往连页面都抓不全，更别说把两个账号关联到同一个人身上。
开源工具 MMFIC 想解决的就是这个痛点。它把数据采集和身份溯源拆成两条线：一条负责穿透防护把内容拿回来，另一条负责从语言习惯里找出"这其实是同一个人"的证据。
采集端：让大模型自己看懂陌生页面
暗网站点的反爬策略通常比明网更激进。MMFIC 的采集子系统用上了 Playwright Stealth、Tor 轮换和人机协同三种手段来绕过防护，保证页面能稳定拿到。
更关键的一步在解析环节。传统爬虫靠硬编码规则提取字段，论坛一改版就得重写。MMFIC 改用 LiteLLM 驱动大模型自主推理页面结构，把抓到的内容直接结构化提取成 JSON 数据。
LiteLLM 的接入方式支持多种模型，包括 Gemini、GPT、Claude，也可以走本地 Ollama。这意味着使用者不必绑定某一家模型供应商，本地部署同样可行。
溯源端：把发帖习惯变成向量
身份关联引擎的思路是提取用户发帖中的语法、标点习惯、句式偏好，再加上行为元数据，构建成高维特征向量。
有了向量，剩下的就是相似度计算。在海量马甲账号中，通过向量比对定位可能属于同一实体的账号，实现跨平台的"马甲碰撞"。
这套方法不依赖账号名、头像这类容易伪造的表层信息，而是看语言习惯这种更难刻意掩盖的痕迹。
它适合谁用
从功能组合看，MMFIC 面向的是暗网 OSINT 场景：需要持续采集暗网论坛内容，又需要把分散在不同平台、不同账号背后的同一实体串起来。
- 采集侧：Playwright Stealth + Tor 轮换 + 人机协同，应对高防反爬
- 解析侧：LiteLLM 驱动大模型自主提取页面结构，输出 JSON
- 关联侧：语言学指纹 + 行为元数据构建高维向量，相似度碰撞
项目来源标注为 TechVerser，分类属于人工智能与安全交叉方向，标签涵盖开源项目、大语言模型和 AI 工作流。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
