实战 | 证券行业软件测试智能化应用研究

文 / 中国银河证券股份有限公司信息技术部 龚剑 张文佳 沈众 卓壮

近年来，证券行业网络信息安全事件时有发生，对资本市场安全平稳运行产生了一定的影响，为了保障证券期货业网络和信息安全，保护投资者合法权益，促进证券期货业稳定健康发展，推动行业机构持续加强网络安全防护能力建设，稳步提升证券期货业网络和信息安全保障水平，中国证券业协会发布了《证券公司网络和信息安全三年提升计划（2023—2025）》，在强化系统研发测试能力方面，要求“确保产品上线前得到充分有效的测试，科学设计测试方案和用例；借助自动化手段对需求分析、用例编写、用例评审、用例执行和缺陷追踪进行数字化度量；鼓励有条件的证券公司，稳健提升重要信息系统的自动化测试比例，全面提升测试效能与质量。”

证券行业在精准营销、智能推荐、反洗钱、合规风控等业务方面进行的人工智能技术应用取得了明显的效果。为了在监管要求和建议的指引下，借助人工智能技术提升证券行业软件系统测试质量和效率，我们在现有人工智能平台产品和研究能力基础上，应用知识图谱和机器学习等技术，结合测试能力、测试经验和积累的测试数据，对测试领域中用例生成、缺陷定位等方面的智能化应用进行了研究和探索。

研究内容

1.借助知识图谱，加强需求分析

基于测试需求等相关数据，抽象出需求、系统和用例实体以及实体之间的关系，构建“需求—系统—用例”关联图谱（如图1），辅助需求分析、系统设计和用例筛选。利用PageRank算法标注需求和用例优先级，辅助制定测试计划；利用共同邻居算法推算关联需求，辅助需求分析；将缺陷数量等属性与整体中位数进行比较，分析目标需求分位水平；与需求信息数据库建立关联，同步更新测试需求质量数据；通过数据可视化获取测试执行统计分析信息，把控测试进展和测试质量。

2.借助知识图谱，加强用例编写

（1）知识图谱辅助状态迁移测试用例生成。对于APP系统的状态迁移测试，将原子用例进行数据抽象，基于节点、边和组合规则生成状态迁移图谱；开发图数据库计算、路径查找、环路径过滤功能，生成符合业务逻辑的有效状态迁移测试路径；将测试路径导入自动化测试平台，转化为自动化测试脚本，提升APP系统自动化测试效率。

（2）知识图谱辅助场景切换测试用例生成。对于流程审核类系统的场景切换测试，将原子用例进行数据抽象，基于节点、边和组合规则生成场景切换图谱；综合运用Cypher查询和Python解析生成有效场景切换测试路径；将测试路径导入自动化测试平台，转化为自动化测试脚本，提升流程审核类系统自动化测试效率。

3.借助机器学习，加强缺陷追踪

基于系统报错文本信息，构建报错信息库训练机器学习模型，采用FastText、TextCNN、Bert和Albert四种文本分类模型进行研究。研究过程包括：数据预处理，分析特征与标签对应关系，梳理形成规则字典；应用自然语言处理技术，进行分词和特征提取；针对数据特征和业务逻辑，编写定位算法；使用多个分类器进行模型训练和调参优化；进行效果对比，确定符合准确率置信要求的解决方案；使用经典预训练模型Bert结合神经网络分类器的解决方案，对于常见报错类型定位的准确率达到了90%，辅助快速进行系统报错定位和缺陷确认。

创新成果

1.创造性地使用图谱路径查找辅助用例生成

知识图谱采用图结构来建模和记录实体间关联关系和知识，更加精准地实现了信息检索。知识图谱路径查找通常涉及从一个给定的起始实体到一个目标实体的路径查找，可以揭示实体之间的隐藏关系或提供一种方式来理解实体间的关联。项目使用图遍历算法的广度优先搜索（BFS），帮助在图中查找从一个节点到另一个节点的有效测试路径，将有效测试路径导入自动化测试平台，提升自动化测试用例生成的效率。

2.开发集群分析模式突破内存等资源限制

普通知识图谱平台支持路径长度为8层，一般复杂度的状态迁移和场景切换测试用例生成，需要支持测试路径长度为12层左右。项目开发了集群分析模式，突破内存等资源限制，执行图谱查询、测试路径生成和输出，解决了项目研究数据量超过10万条、查询时间超过30秒的限制。集群查询易扩展、易部署，无需改动任何代码，只需新增服务器部署相同的应用并配置负载均衡，即可减轻业务增量带来的系统压力。

3.应用测试智能化研究成果提升测试效率

知识图谱与机器学习测试智能化研究成果，已应用于企业微信统一测试应用。将测试过程中遇到的系统报错信息输入应用，提交后台机器学习模型进行报错分析和预测，给出符合置信要求的定位预测结果，相较人工经验判断和重复性问询，极大地提升了测试问题定位的效率。

4.融合DevOps研发度量建设智能化测试体系

项目研究将知识图谱、自动化测试、机器学习等平台进行了数据打通，借助人工智能平台辅助自动化测试用例生成、自动化执行报错定位和缺陷自动提交，提升了DevOps持续交付自动化测试的效能与质量，丰富了研发度量的测试质量数据，为智能化测试体系建设奠定了基础（如图2）。

研究价值

项目上线运行以来，辅助完成回归测试需求29项，辅助完成缺陷定位1100余次，项目研究价值主要体现在以下几方面。第一，对于行业软件系统测试需求的测试质量分析，实现了手工记录到图谱统计分析和可视化度量的提升；第二，对于状态迁移组合测试用例，实现了5分钟自动生成1万条有效组合测试用例；第三，对于场景切换测试用例，实现了当天自动生成100%覆盖业务流程分支的测试用例；第四，对于软件系统缺陷定位，通过智能化测试应用的辅助，实现了1人1天定位10个缺陷到1人1天定位25个缺陷的能力提升。

一般复杂度的测试需求，测试周期从7.75天缩减到3.75天，测试效率提升了52%；对于测试过程中常见系统报错，节省处置定位的工作量约为21人月。通过项目研究，对于证券公司探索借助人工智能技术实现降本增效，提供了可行性方案、实践案例和实验数据，为企业智能化测试体系建设奠定了基础。

总结展望

项目研究提出了一种测试智能化应用解决方案，采用知识图谱、机器学习和NLP自然语言处理技术，在测试前、中、后三个重要环节进行测试智能化创新应用。通过建立测试知识图谱、文本分类模型和测试过程可视化等手段，提高了测试效率和覆盖率，节省了人力成本。实践结果表明，该方案已经成功应用于研发测试流程并取得了较好的效果，达到了预期的目标，具有较高的实用价值和应用前景。

随着ChatGPT的推出，行业广泛研究大语言模型的金融科技应用，我们使用开源大语言模型进行了软件测试应用的探索和实践。一方面，利用大模型文本提取能力，探索需求文档概要提取，辅助测试用例编写，计划后续通过规范需求文档格式、调整Prompt，提高摘要的准确性；另一方面，利用大模型代码生成能力，探索自动化测试代码生成，辅助自动化测试用例转化，当前脚本转化的准确率达到了60%左右，计划使用领域知识库辅助模型进行微调，使用更具结构化的数据来提高准确性。

项目计划随着大语言模型技术的迭代演进和不断成熟，将本文的研究成果，作为图谱分析和报错预测能力，集成到自主可控的大语言模型统一调用，实现智能对话式测试应用，辅助所有相关角色更便捷、更高效地开展软件测试工作，推动证券行业软件质量保障向人工智能领域的更高层次发展。

（此文刊发于《金融电子化》2024年2月下半月刊）