陕西农信：基于云真机的移动端自动化测试平台建设

来源：2024年度全国农村金融机构科技创新优秀案例评选

获奖单位：陕西农信

荣获奖项：科技管理创新优秀案例、十大网络影响力优秀案例

一、项目背景

在数字化时代，金融科技发展正在快速重塑金融服务的面貌，利用科技手段提升服务质量、增强用户体验、确保交易安全，成为中小金融机构转型升级的关键。作为服务三农的重要金融力量之一，陕西省农村信用社联合社（以下简称“陕西农信”）将移动端金融服务作为连接广大农村用户的重要桥梁，其移动端应用用户群体广泛，服务需求多样。然而，面对激烈的市场竞争和用户对服务质量的高要求，传统手工测试方法普遍存在设备利用瓶颈、测试任务管理复杂等诸多痛点，已难以满足快速迭代和高质量交付的需求，面临测试质效、管理成本、设备兼容性、安全性等工作流程和测试技术的多方面挑战。

为有效应对上述挑战，陕西农信坚持目标引领、问题导向、守正创新，在充分开展工作调研和技术论证基础上，采用基于云真机的移动端自动化测试平台建设，将移动真机设备和管理平台集中部署，通过开放云真机服务向用户提供远程开展真机测试的能力，提升设备管理规范性和利用效率。同时，通过统一的设备调用接口与自动化测试平台的集成，提供批量并行测试的能力，有效提升测试效率，降低测试成本。

二、项目方案

陕西农信旨在通过实施基于云真机的移动端自动化测试平台建设，实现以下目标：一是提升移动测试设备利用率，根据用户请求动态分配空闲真机，高效、集约满足真机设备使用需求，缓解设备资源瓶颈；二是提升管理水平，通过订制专用移动测试设备，提升真机设备使用的安全性、规范性；三是提高测试效率，通过自动化测试流程减少手动测试的重复劳动，缩短测试周期，快速响应开发迭代。同时，提供统一的设备调用接口，降低测试脚本复杂度，加快自动化测试实施；四是提升测试质量，确保应用在各种设备和操作系统上的兼容性和性能，通过自动化测试手段强化回归测试工作，有效控制变更风险。

本项目系统架构包括以下关键组成部分：

云真机服务平台：提供远程访问和控制真实移动设备的能力，支持不同操作系统和设备型号；

测试任务调度平台：用于规划、调度和管理测试任务，确保测试流程的自动化和高效性；

自动化测试脚本库：存储和管理自动化测试脚本，支持快速部署和更新；

测试结果分析组件：收集和分析测试结果，生成详细测试报告，提供缺陷跟踪和管理功能；

屏幕监控组件：监控测试活动，确保测试过程与目标一致，符合安全合规要求等。

在云真机自动化测试项目实施和持续运行过程中，陕西农信找准目标、紧抓痛点，将成熟有效的思路做法及时固化为工作流程机制，同步实现关键技术突破和测试管理体系优化。

关键技术突破：一是设备远程控制技术方面，通过对云真机的远程操作和控制，模拟用户行为进行测试；二是自动化测试框架技术方面，基于Robot Framework、Appium等自动化测试框架，开发适用于移动端应用的自动化测试脚本；三是并行测试执行技术方面，集成云真机调用接口和Selenium Grid分发工具，实现云真机设备资源的并行处理能力，同时执行多个测试任务，提升测试效率；四是测试结果分析技术方面，采用深度学习和大语言模型等技术对测试结果进行智能分析，持续优化测试过程，快速定位问题和风险。

测试管理体系优化：以云真机自动化测试项目开展为契机，健全测试设备使用流转机制，加快手工测试与自动化测试工作融合，将自动化测试纳入工作考核和测试流程标准，强化测试质量保证。同时加强人才队伍建设，在各测试项目配备专业人员，开展赋能培训，提升全员技能水平，为自动化测试从“特种兵”向“集团军”转变提供充分人才和技能保障。

三、创新点

在云真机自动化测试项目推动过程中，陕西农信引入一系列创新技术，推动测试流程智能化，以提高测试效率和深度，以下是本项目创新点：

1.云真机资源的动态分配管理

为满足真机设备资源的高效利用和灵活性需求，我们实现了云真机的动态分配与管理：一是按需分配，根据测试任务的紧急程度和复杂性，智能分配云真机资源，优化资源使用；二是负载均衡，采用智能调度算法，在批量并发的自动化测试等场景下实现云真机动态分配，避免资源空闲浪费；三是实时监控与批量管理，通过实时监控云真机状态和批量管理工具，简化云真机设备的配置和维护流程。

2.跨平台的自动化测试框架和脚本兼容性

为应对银行长链路跨平台操作等测试场景，需要测试框架能够驱动不同平台测试设备，确保测试脚本在不同设备和操作系统上的一致性和准确性，我们采取了以下措施：一是统一测试框架，采用跨平台测试框架Python+Robot Framework，确保脚本的广泛适应性；二是模块化的脚本设计，结合各类设备驱动库，将包括移动端在内的各类设备操作封装为基础技术组件，使脚本易于适配和扩展，也使得在同一脚本中实现跨平台操作成为可能；三是接口集成，将云真机设备调用接口与测试框架集成，简化了测试脚本配置，提升了自动化测试实施效率。

3.移动端测试智能化探索

针对移动端自动化测试中的突出问题，如动态或特殊页面元素定位难题、测试执行输出日志信息庞杂混乱等，我们积极探索了相关智能化技术在测试领域的应用：一是结合YOLO目标检测和OCR技术定位疑难元素，通过深度学习模型对屏幕截图进行分析，智能识别和操作界面上的元素，即使在不同设备和分辨率下也能保持较高准确度，提高了脚本健壮性和对复杂用户界面的适应能力；二是运用大语言模型技术，对测试日志和报告进行智能分析，提取其中关键信息，识别潜在问题风险，生成分析意见和建议，不仅显著提升了测试结果的解读效率，还为测试和开发团队提供了更加精准的决策支持。

四、技术实现特点及优势

陕西农信认真梳理移动端测试工作流程痛点、堵点，抓住主要矛盾开展技术创新突破，规范调用接口，打通平台工具联系，将由人衔接的工序流程固化、转化为自动化流程，由平台和工具衔接。基于云真机的移动端自动化测试平台建设，通过集成云真机平台、自动化测试平台、测试任务调度平台，实现了移动端测试环境自动准备、脚本高效开发、动态批量执行、智能可视化报告的流程贯通。具体来说，该平台实现包含以下主要技术特点和优势：

1.设备集中管理与维护

一是设备多样性，通过搭建云真机平台形成了一个覆盖多种品牌和型号的移动设备库，包括了安卓、苹果、鸿蒙等市场上主流操作系统和版本，可以确保移动端测试的全面性和代表性；二是持续更新，结合市场设备占有率，按季度收集测试需求，定期更新设备库，新增补充最新型号的设备和升级操作系统版本，确保测试设备始终紧跟市场主流、紧跟用户体验；三是集中维护，由专门技术支持小组维护设备库，负责包括系统更新、应用安装、故障排除、保管防护等，确保设备随时可用。

2.远程访问控制

一是支持实时操作，利用Adb、XcuiTest等移动端远程控制方案，用户可以通过云平台实时操作远程设备，进行应用安装，功能测试和性能监测，获得与直接操作本地设备类似的使用体验；二是高清视觉体验，通过集成优化Scrcpy、Minicap等屏幕截获技术，提供高清、低延迟的设备屏幕显示，确保用户可以通过监测远程移动端设备的高清画面，实时获得测试动作反馈；三是多用户支持，通过设备占用和释放机制，支持多用户同时访问不同设备，确保每个用户会话独立，不会相互干扰。

3.资源调度与伸缩

一是资源封装，结合虚拟化管理思想，将物理设备资源抽象化，用户不再占有特定设备资源，而是根据设备系统、型号、数量、标签（如手工测试、自动化测试）等描述信息发起资源申请，支持多用户同时使用同一种类设备的不同资源，提高设备使用效率；二是智能调度系统，实时监测设备使用状态，利用轮询、等待、随机、超时等机制，提供系统、型号、数量、标签优先等设备占用策略，智能处理用户资源请求，优化设备调用和释放过程，实现根据用户测试需求和设备状态，自动分配最合适的设备，优化了资源效率和公平性；三是资源伸缩，平台可以根据实际使用需求，随时调整手工测试和自动化测试可使用的设备数量，在白天/夜间、工作日/非工作日设置不同调度策略，在测试需求高峰期，迅速伸缩设备资源，保证手工或自动化测试任务顺利进行。

4.自动化测试集成

一是支持API驱动，在云真机平台搭建过程中，前瞻性考虑到工具之间互联互通，与关联系统平台集成等需求，云真机平台提供了设备调用、应用安装、状态监测等丰富的API接口，允许用户将云真机服务集成到现有自动化测试框架中，通过测试脚本调用云真机设备库，实现脚本执行的并行分发和自动负载；二是与测试任务调度平台无缝集成，支持CI/CD工具触发移动端测试环境准备，如设备调用、应用安装、测试分发的自动化流程；三是智能定位疑难元素，在自动化测试平台中集成YOLO和Paddle-OCR识别模型调用接口，结合云真机平台截取测试失败截图，标记整理疑难页面元素开展模型的二次训练和微调，使识别模型能够适应陕西农信移动端应用页面元素中的特征信息，同时也具备了适应不同设备分辨率的泛化能力，提高了测试脚本的稳定性和健壮性。

5.测试结果收集与分析

一是详尽的收集机制，通过自动化测试平台捕获测试期间的脚本执行日志和应用运行日志，包括错误提示、告警信息、性能指标等，为问题分析提供原始数据；在测试关键步骤自动截屏或录像，直观展示测试过程中应用行为和出现的任何问题；二是智能化的结果分析工具，探索利用大语言模型和提示工程技术，智能分析测试执行日志，包括概括、分类和筛选测试执行发现的风险问题，帮助测试团队集中精力解决最关键问题；三是多维度测试报告，生成包含执行通过率、平均耗时、标准差等关键指标和图表的多维度可视化测试报告，使项目团队能够快速理解测试结果并采取行动。

五、项目过程管理

1.调研分析

此阶段为2023年8月至2023年10月，期间主要完成了对手机网银、移动门户、移动营销、移动办公等系统的技术特性分析，重点从部署架构、外设依赖、认证方式、特殊控件等方面进行调研、分析。根据调研情况，制定了移动端测试项目方案。

2.准备实施

此阶段为2023年11月至2024年2月，根据项目方案，先后完成技术原型验证，云真机平台搭建，自动化测试平台对接，手机网银试点项目脚本开发调试，试点项目演示运行等主要工作内容。

3.上线准备

此阶段为2024年3月，根据投产上线要求，编制设备及环境清单，规划移动端测试任务调度顺序等。

4.稳步推广

此阶段为2024年3月至今，逐步在行内其他重要系统开展云真机移动端自动化测试的实施推广工作，具体如下：

第一批次：2024年3月，完成了手机网银高频交易回归测试；

第二批次：2024年6月，完成了移动门户、移动营销、移动办公、网络学习平台等测试任务，覆盖了信贷、网贷、互金、交易中台、集中作业、OA等系统。

六、运营情况

基于云真机的移动端自动化测试平台建设，有效满足了全行对客对内等移动端应用的手工和自动化测试工作需要，工作涵盖了移动端的业务流程回归、页面功能验证、测试数据预埋等内容。通过基于云真机的移动端自动化测试，多层次补充了各系统回归测试范围，显著缩短测试周期，为陕西农信保障信息系统质量、抢占市场竞争先机、更好地服务广大农村用户做出了有力的保障。

云真机测试平台上线以来，主要完成了手机网银、移动门户、移动营销、移动办公等4个系统移动端自动化测试项目实施，交付测试脚本583个，累计执行35632次，平均通过率达到96%。截止目前，累计稳定运行130余天，日均执行用时4小时，日均执行脚本272个，发现重要问题缺陷7个，月均新增脚本33个，维护脚本873次。

七、项目成效

1.降低管理成本

一是减少设备投资，通过云真机平台，陕西农信避免了购买和维护大量实体测试设备，显著降低了硬件投入和维护成本；二是降低人力消耗，通过自动化测试减少回归测试过程中对手工测试人员的依赖，测试团队可以将更多精力投入测试策略规划和更多复杂场景的测试上；三是简化测试环境管理，通过云平台集中管理简化了涉及移动端应用的测试环境配置和更新工作，节省了设备资源调配和测试环境准备时间。

2.提升测试质效

一是提升测试脚本开发效率，通过标准化接口实现了设备配置与测试脚本的解耦，降低了测试脚本复杂度，提升了测试脚本开发效率；二是提高测试执行速度，通过云真机平台支持的动态分发和负载均衡策略，最大程度减少设备闲置时间，最大化设备利用效率，通过并行测试执行同时满足手工测试和自动化测试需要，大幅提升测试执行速度；三是实时反馈与迭代，结合智能化技术手段加速测试结果分析，在加快缺陷修复和功能迭代速度的同时，为项目团队提供更加精准有效的质量信息。

3.优化测试工作流程

一是标准化测试流程，以项目开展为契机，完善了测试设备借用流转工作机制，依托云真机平台规定非必要不借用真机，非必要不占用设备超过半天时间等原则，将自动化测试引入测试门禁标准，通过“手自一体”工作流程使得测试工作流程更加标准化；二是增强测试覆盖和一致性，通过自动化测试确保移动端应用版本每次发布时，测试的一致性和全面性，通过进一步提高测试覆盖率，确保应用质量的稳定性；三是加强与持续集成流水线的融合，将包括云真机平台、自动化测试平台在内测试工具链与CI/CD流程集成，使自动化测试成为陕西农信软件开发周期中无缝衔接的一部分，提高了软件交付的整体效率。

八、经验总结

通过基于云真机的移动端自动化测试平台建设，陕西农信在测试工作中坚持目标引领、问题导向、守正创新，解决难题痛点、打通流程堵点，为陕西农信数字化转型提供了强有力的测试保证。回顾整个项目过程，陕西农信采取了有效措施，确保项目成效：

一是坚持目标引领，将推动移动端自动化测试工作与加快数字化转型背景结合起来，通过进一步加速研发周期抢占市场先机，一切手段和方法的目标都应该是通过技术和制度改进创新，提升测试效率和质量。二是坚持问题导向，通过抓主要矛盾和矛盾主要方面的办法，找准阻碍移动端测试工作质效提升的痛点、堵点，围绕设备利用效率较低、测试任务配置复杂、测试结果分析难度大等问题，集中力量突破攻关。三是坚持守正创新，技术创新和制度改进均立足于我行真实测试需求，能够实实在在解决痛点、难点和堵点，同时预留相关技术接口和制度空间，通过提前规划为下一阶段持续改进提供支撑。四是通过本方案的实施，陕西农信有效提升了移动端应用的测试质效，为增强用户满意度，提高市场竞争力提供有力支撑，也可为其他中小金融机构开展相关测试提供参考借鉴。

更多金融科技案例和金融数据智能优秀解决方案，请在数字金融创新知识服务平台-金科创新社案例库、选型库查看。