安徽省农信社：基于AI技术的运维安全监测研究

来源：2025年度农村金融机构科技创新优秀案例评选

获奖单位：安徽省农信社

荣获奖项：信息安全创新优秀案例

一、项目背景

（一）项目背景

在数字化浪潮下，安徽省农村信用社联合社（以下简称“省农信社”）信息系统运维安全面临严峻挑战：运维误操作可能引发客户资金损失、数据泄露等风险，而现有堡垒机每日产生500小时审计视频，依赖人工全量稽核存在稽核人员水平参差不齐、风险识别效率低、安全管理滞后（事故数天或数周后才察觉）等三大痛点。尽管引入了防火墙、入侵检测系统等安全产品，但传统人工稽核模式已无法满足运维安全高效管控需求。

（二）项目目标

1.替代传统人工抽查，实现审计视频全量自动化稽核，为运维安全监测提供科学依据；

2.构建特定威胁事件场景（如：打开SAP财管软件、批处理作业）的安全监测模型，精准定位高危操作；

3.搭建机器学习训练平台，支持模型全生命周期管理，实现威胁事件模型自主拓展，推动成果落地应用。

二、项目方案

（一）总体架构

图1研究产出示意拓扑图

系统由三大核心模块构成：非侵入式智能化操作平台、行为监测算法模块、机器学习训练平台。三者协同实现“数据采集-行为识别-风险预警-模型优化”闭环：操作平台采集审计视频，算法模块识别风险行为，训练平台持续优化模型，保障系统高效、精准运行。

（二）关键技术实现

1.非侵入式智能化操作技术

通过HDMI接口采集终端屏幕图像，HID技术模拟键鼠操作；开发表格识别、验证码识别算法，还原图像中文本、数字信息；构建可视化流程编排引擎，支持判断、等待、循环等任务节点，实现自动化操作。

图2流程引擎主要功能

2.行为监测算法

基于CNN-LSTM模型进行时序视频帧识别，每段视频拆分为不超过10秒的动作片段提升训练有效性；采用最大帧间差法计算相邻帧像素差值，自适应提取关键帧，减少数据量；模型在自有数据集上准确率达80%-90%。

图3基于时序的视频帧序列识别网络架构示意图

图4模型采用的视频数据集说明

3.机器学习训练平台

应用流水线技术，集成数据管理、模型训练、超参数优化、部署服务功能；支持多种算法集成与标准化组件，关联数据与模型版本；提供图形化界面，展示训练指标（准确率、损失值），实现模型一键发布至操作平台。

图5模型损失与准确率随训练轮次的波动曲线

图6模型生产全流程示意图

三、创新点

（一）非侵入式运维安全监测技术突破

采用HDMI+OTG非侵入式方案，无需在终端安装插件，实现硬件无关、系统无关的自动化操作与视频采集，避免传统侵入式方案对系统安全性的影响。通过计算机视觉技术（图像匹配、行为识别），完成审计视频全量稽核，解决人工稽核覆盖不全问题，同时保障数据不出局，符合金融数据安全要求。

（二）时序分析的行为监测算法优化

创新结合CNN-LSTM混合模型与动态帧优化技术：CNN提取单帧操作特征，LSTM捕捉跨帧时序行为模式；采用最大帧间差法提取关键帧，去除60%冗余数据，推理效率提升近10倍。同时，模板匹配与深度学习协同，兼顾已知风险高效检出与新型异常快速响应，实现分钟级风险预警。

（三）全流程自动化机器学习平台

构建标准化机器学习流水线，支持从数据采集、预处理、模型训练到部署的全流程自动化。运维人员仅需更新指定位置训练视频，即可触发模型自动进化，将常规模型开发人力投入降低80%，迭代周期压缩至6小时级，解决模型开发滞后于威胁演进的问题。

四、项目过程管理

项目立项与筹备阶段（2024年7月-9月）：完成立项、需求分析、方案设计，采购HDMI采集卡、HID模拟设备等硬件，搭建实验环境；

关键技术研究与算法开发阶段（2024年9月-11月）：攻克非侵入式操作技术，开发表格识别、验证码识别算法；完成CNN-LSTM行为监测模型及关键帧提取算法开发与测试；

平台开发与集成阶段（2024年11月-12月）：搭建机器学习训练平台，集成三大模块，完成功能测试与性能测试；

系统上线与试运行阶段（2024年12月）：系统正式上线，输出每日值班日常合规性检查报告（含用户名、视频时间、事件名称及次数），试运行期间稳定运行。

五、技术实现特点及优势

（一）非侵入式智能化操作理论的创新应用

本项目基于“无植入式人机交互”理论，在运维安全监测领域创新性地提出了基于计算机视觉和人工智能技术的非侵入式智能化操作方法。传统的运维监测通常依赖于侵入式软件或硬件代理，存在安全风险，而本项目通过HDMI和HID交互引擎模拟鼠标键盘输入实现系统级操作控制，实现了硬件无关、系统无关的全流程自动化操作，避免传统自动化技术对目标终端的代码侵入，保障系统安全性与稳定性。本项目开发的自动化操作工作平台通过设计基于时空关联的任务编排理论，支持复杂业务流程的智能化分解与重组，实现跨平台操作的端到端自动化执行。这一理论突破为非侵入式运维安全监测提供了新的研究范式，有助于推动计算机视觉在远程控制、智能审计和自动化运维等领域的应用发展。

（二）基于时序分析的视频行为识别理论

传统的视频行为识别方法大多依赖于单帧图像的特征提取，而本项目基于时序分析，提出了结合模板匹配与LSTM神经网络的视频帧序列识别方法。该方法通过卷积神经网络（CNN）提取视频帧图像的静态特征，同时利用长短期记忆网络（LSTM）建模用户操作行为的时间动态特征，从而在视频序列中准确识别特定的操作模式，提高对威胁事件的监测精准度。此外，通过采用将完整视频拆分为不同动作片段的方式（每段不超过10秒），显著提升训练数据的有效性，提高模型对不同操作步骤的识别能力。该理论创新填补了时序行为监测在智能审计领域的空白，提升了人工智能在自动化审计和异常检测方向的适用性和有效性。

（三）机器学习训练流水线的自主适应能力

本项目构建了智能学习训练平台，结合机器学习流水线技术，提出了模型全生命周期管理的理论体系。一是支持私有化部署环境下的动态资源分配与高效数据管理，通过分层解耦设计实现模型训练、调优与部署的全流程自动化；二是学习训练平台通过图形化界面展示训练过程，提供直观的模型评估手段，提高用户的可操作性；三是构建了多模态数据融合理论模型，针对不同威胁事件场景；四是建立差异化特征提取机制，解决动态界面与静态操作的统一建模难题。

六、运营情况

系统已在安徽省农信社信息技术中心推广，用于审计视频自动化稽核与风险监测。运维人员通过平台查阅每日操作视频（筛选时间、主机地址、播放/关闭视频）系统自动输出PDF格式稽核报告，无需人工干预。系统支持每日500+小时视频全量处理，关键帧提取率10%-20%，打开SAP财管软件、批处理作业两个场景监测准确率稳定，机器人可准确识别并记录事件，从操作发生到分析结果生成延迟满足实时监测需求，系统稳定运行率99.9%以上。

七、项目成效

（一）经济效益

1.人力成本节省：传统人工日均处理4.21GB视频，需12人天处理50GB日均视频；系统仅需1人天，月均节省11人月，按技术人员人月2万元计算，年节省264万元；

2.运维成本降低：减少误操作导致的系统修复成本，降低安全事故经济损失。

（二）社会效益

1.提升运维安全水平：实现审计视频全量稽核，风险识别从“滞后”转为“实时预警”，保障客户资金与数据安全；

2.树立行业标杆：为农村金融机构提供可复制的AI运维安全方案，推动金融科技在运维领域的深度应用；

3.助力数字化转型：通过自动化、智能化技术，提升安徽省农信社科技运维能力，为业务高质量发展奠定安全基础。

八、经验总结

本项目成功的核心在于“需求导向+技术创新+协同研发”：以安徽省农信社实际运维痛点为出发点，联合中国科技大学攻克非侵入式技术、时序算法等关键难题，实现技术与业务深度融合。项目成果不仅解决当前稽核效率问题，更通过机器学习平台保障可持续性，可拓展至更多威胁场景。未来，可进一步扩大非侵入式操作平台应用场景（如智能审计、远程控制），优化模型泛化能力，推动农村金融运维安全向更高水平发展。

更多金融科技案例和金融数据智能优秀解决方案，请在数字金融创新知识服务平台-金科创新社案例库、选型库查看。