北京
在医疗诊断、自动驾驶等高风险场景中，人工智能（AI）模型决策的可解释性至关重要。据美国麻省理工学院官网近日消息称，为了提高透明度，该校团队开发出一种新方法，能够从已训练好的计算机视觉模型中自动提取关键概念，并迫使模型使用这些人类易于理解的概念进行解释和预测。这项进展有望在提升模型准确性的同时，增强用户对“黑盒”AI的信任。
概念瓶颈模型是增强AI可解释性的常见技术。它是指在模型决策过程中增加一个中间步骤：先识别图像中与任务相关的、可被人理解的“概念”，再基于这些概念做出最终预测。例如，在肿瘤诊断中，模型可能先识别“成簇的棕色斑点”这一概念，再判断是否为黑色素瘤。
然而，传统方法依赖人类专家或大语言模型预先定义概念集，这些概念可能与具体任务关联性不强，或缺乏足够细节，从而影响模型性能。另外，模型在训练时也可能“暗中”使用了定义之外的其他特征，导致解释与真实不符。
此次，团队利用一个经过海量数据预训练的视觉模型，认为其内部已蕴含了完成任务所需的知识。他们设计了一种两阶段流程来提取和转化这些知识。首先，使用一个称为稀疏自编码器的专用模型，提取出最相关的特征，并将其压缩为少量核心概念。接着，由一个多模态大语言模型将这些特征转化为简洁的自然语言描述，并自动为数据集中图像标注这些概念真实与否。最后，利用这些标注数据训练一个概念瓶颈模块，并将其整合到原始模型中，强制模型仅使用这套提取的概念进行预测。
团队在过程中限制了模型每次预测最多只能使用五个概念，迫使模型筛选出最关键的几个特征，使生成的解释既精炼又直接相关。
测试中，鸟类物种识别和皮肤病变诊断等任务结果均表明，新方法在提供更精确、与图像更贴合的概念解释的同时，也取得了比现有概念瓶颈模型更高的预测准确率。这意味着，该方法不仅能更好地“解读”模型的思考过程，还能维持更优的性能。
团队未来的工作还将致力于解决信息泄露等问题，并探索利用更强大的多模态大模型来标注更大规模的数据，以进一步提升方法的效能。
（来源：科技日报）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
