元保保险经纪发布深度评测报告，客观评估大模型保险场景应用能力

2023年，AI大模型是科创圈最有热度的话题。随着ChatGPT的火爆，AIGC技术在国内掀起狂潮，各个领域的AI大模型如雨后春笋般出现，但谈及商业化落地，依旧是行业上的难点。为探究AI大模型在保险领域的商业化潜力，国内领先的保险中介平台——元保，联合国内保险科技研究机构——分子实验室，共同发布了保险行业内的首份大模型评测报告——《人工智能大模型保险行业应用评测报告》（简称“《报告》”）。

元保该《报告》区别于以底层专业性指标为评测维度的大模型评测，《报告》立足国内保险行业实际需求，以应用场景的视角和维度进行评测，通过设置保险知识、法律知识、医疗知识等行业常规知识问题，测试大模型的保险行业基础能力；同时针对性设置了保险业务场景问题，以测试大模型的保险行业实际应用能力——以期向保险行业呈现更为实用、直观的信息和结论，探AI大模型究竟能为保险行业带来哪些具体的业务价值。

在测评对象层面，元保该《报告》对市场上十大主流的大模型进行了系统性测评，包括：ChatGPT3.5、ChatGPT4、Claude-1、Claude-2、清华智谱ChatGLM130B、百度文心一言、阿里通义千问、科大讯飞星火、360智脑、昆仑万维天工等。在测评维度层面，《报告》从常用的保险业务场景中抽离出三大能力，即专业知识问答能力、营销服务应用能力、合规风控应用能力，基本上涵盖大模型在保险领域的主要应用方向。

为增强客观性，元保该《报告》还特邀国内知名高校专家学者、中国大地财产保险股份有限公司、众惠财产相互保险社等保险公司的专业人员共同调研并撰写完成。清华大学金融科技研究院副院长、清华大学五道口金融学院中国保险与养老金研究中心主任魏晨阳表示：“对大模型的评测工作，在全球范围都是一个意义重大的事情。结合金融领域一个重要板块（保险）的大模型评测，其实更具有特殊的意义。包括AI在内的科技赋能，核心在于结合具体应用场景时，模型是否在实操层面、核心业务的前沿，真正有实用价值。”

综上所述，元保联合分子实验室共同发布的这份《人工智能大模型保险行业应用评测报告》在一定程度上降低众多保险机构在大模型选择上的试错成本，并提供一定借鉴价值，对于加快大模型在保险领域的落地具有积极意义。