阿丘科技：生成式AI与行业视觉大模型驱动工业AI视觉2.0

5月21日,阿丘科技CEO黄耀应邀参加北京机器视觉助力智能制造创新发展大会,并发表《AI+工业视觉探索与展望》主题演讲,下文根据黄耀先生的主题演讲主要内容撰写而成。可点击文末“阅读原文”下载原版PPT资料。

一、AI+工业检测的难点与挑战

现代制造业中,质量管控是一个至关重要但充满挑战的环节。制造企业使用AI的具体场景中,“质量检测”占据了约40%的比例。在质量管控中,面对大规模的产量,企业需要管理众多的工艺控制点。

这导致单个产品的检测参数量多,总体检测的参数量大,给质量控制带来了极大的压力。其次,极限制造的环境下,对产品的精度和品质要求极为严格。不仅生产线上对过检和漏检的指标控制非常严格,同时产线速度的加快进一步增加了检测的难度。

此外,缺陷的种类复杂多变,许多缺陷非常微小,区分度低,使得检测工作更加困难。最后,传统的质量管控方式需要投入大量的人力和财力,即使如此,仍然存在漏检的风险。这些因素共同构成了质量管控的主要难点,亟需通过技术创新和改进来解决。

工业AI视觉检测作为制造业中新兴的领域,在高速发展的同时也一直面临着一系列难点与挑战。

第一,严苛的性能指标。工业场景对AI检测提出了极为严苛的性能指标,要求极高的准确度、AI模型高度的稳定性和鲁棒性,适应复杂多变的工业环境。

第二,工业场景的数据基础薄弱。工业数据往往数量有限且私有化,导致数据的获取和应用面临高度碎片化的难题。数据基础的薄弱是制约工业AI发展的重要因素,缺乏数据、数据质量差或数据量不足的问题,都严重影响了AI模型的训练和优化效果。

第三,工业场景的AI大多需要与硬件紧密结合。这不仅增加了系统的复杂性,还可能引入各种干扰因素,对AI的性能造成影响。

第四,AI+工业人才缺乏。人才缺乏是工业AI发展中的另一个瓶颈,既懂得AI技术又熟悉工业领域的复合型人才十分稀缺,很大程度上限制了AI技术在工业场景中的应用和推广。

二、工业AI视觉进入2.0时代

中国工业AI视觉的落地大约始于2019年,经过5年的积累、迭代,正在从1.0进入2.0时代。

工业AI视觉进化论

1、工业AI视觉1.0时代:聚焦工业场景的AI算法,实现“可用”

在工业AI视觉1.0时代,由于没有足够的数据,通常需要通过小样本技术来解决问题。

这一时期的工业AI视觉主要表现为以下3个特征:

第一,小样本学习。在工业生产环境中,训练AI模型可用的标注图像样本采集、标注耗时耗力,往往数量非常有限,所以此时的AI算法训练只能够在有限的数据基础上进行。

第二,高精度。工业质检的标准要求AI检测系统以很高的准确度检测、识别和分类图像中的目标对象,如缺陷检测、尺寸测量、物体识别和分类等任务。高精度是工业视觉检测系统的一个关键性能指标,它对生产效率、产品质量和企业信誉都有直接影响。

第三,低算力依赖。在实际的生产环境中, AI检测系统在执行图像处理和分析任务时可用的计算资源相对较少,工业级AI视觉算法经过专门的优化,可以在相对性能有限的计算资源上完成高性能检测。

这一时期的典型客户群体主要是对新技术持开放态度的企业,它们通常面临明显的生产或质量管控痛点,并且愿意投资于前沿技术以获得竞争优势。这些企业通常对AI有清晰的认识,能够定义明确的需求边界,并有能力进行有效的数据和模型管理。

工业AI视觉1.0时代

在这一时期,从AI全面落地的角度,也仅仅算是解决了工业视觉中“可用”的问题。

首先,数据困局明显。由于工业缺陷数据难以搜集,外加清洗、标注等成本偏高,使得AI模型的训练和整理都变得充满挑战。

其次,部署周期长。较长的上线部署周期,严重延缓了企业所需的应用速度。

而且,未知缺陷无法识别。一些新的缺陷类型难以识别,很大程度限制了AI的应用。

最后,昂贵的成本。高昂的AI落地成本门槛使得只有具备一定支付能力的企业才可能采用这项技术。

总体而言,工业AI视觉1.0时代为工业AI视觉技术的未来发展奠定了基础,尽管存在诸多挑战,但通过不断的技术创新和市场适应,AI视觉技术逐步从可用走向成熟。

2、工业AI视觉2.0时代:生成式AI及垂直细分通用模型,达到“好用”

工业AI视觉2.0时代的来临,标志着工业AI视觉技术的重要演进。

基于Transformer神经网络的技术也在工业AI领域迅速发展,更强的通用性和泛化能力,可以把过去针对单一场景解决问题扩展到可应对垂类场景解决问题。

具体来说,包括单场景的规模复制和多场景模型的泛化迁移,这为工业AI视觉的应用提供了更大的灵活性和扩展性,同时也大大降低了AI落地的成本。

同时,这些转变也会涉及到成像模组、算法模组以及自动化模组的创新和简化,使得AI解决方案更加易于开发及落地。

工业AI视觉2.0时代的客户群体更加普遍,即客户有明确的痛点、关注性价比,他们可从AI成本的进一步下降中受益,使得AI视觉技术的应用扩展到更大规模。

工业AI视觉2.0时代

在工业AI视觉2.0时代,三大关键技术起到了重要作用。

(1)关键技术一:智能良品学习

阿丘科技认为,工业AI视觉2.0时代的关键技术之一即智能良品学习,它包括非监督分割和非监督分类两种模块。这项技术可有效应对产线中出现的未知新缺陷,以及需要在极短的时间内完成模型部署和上线的问题。

智能良品学习的核心优势在于,它只需利用良品图像,就能够对所有已知和未知的缺陷进行像素级别的检测和整图分类,从而实现快速的上线验证。目前,阿丘科技已将智能良品学习技术应用在数十个实际场景中,尤其适用于一些产线良品率高、样本收集周期长、可能面临未知缺陷,以及产线上异常类别检测等场景。

然而,对于小缺陷场景,智能良品学习技术的效果仍有待提升。

关键技术一

智能良品学习技术展示了AI在工业视觉检测领域中的巨大潜力,尤其是在快速适应产线变化和提高生产效率等方面。

(2)关键技术二:生成式AI——智能缺陷数据生成

在工业AI视觉2.0时代中的另一项关键技术即生成式AI——智能缺陷数据生成。

在以往方式中,搜集缺陷样本数据需要花费数天甚至是数月时间,一旦产品换型,整个搜集过程又必须重新开始。此外,搜集那些不常出现的长尾缺陷(一年可能只出现一次),也为样本收集带来了巨大挑战。

为了解决这些问题,阿丘科技通过多年来在工业AI视觉领域的探索和实践,利用积累的大量场景和经验,构建出预训练模型。基于预训练模型,结合具体场景的缺陷特征描述,通过Stable Diffusion框架,即可生成真实缺陷的仿真图像。

这意味着,AI可以创造出接近真实情况的目标缺陷图像,并能适应复杂结构缺陷、背景变化、缺陷边缘处理等多样场景,高度还原真实缺陷纹理、立体度和色彩细节等。

智能缺陷生成技术为工业视觉检测系统提供了一个强大的工具,以便于在缺乏实际缺陷样本的情况下,也能训练和优化模型,显著提高了模型的泛化能力与适应性。

关键技术二

(3)关键技术三:工业视觉大模型

关键技术三为工业视觉大模型,即专门针对工业应用领域而设计的算法模型,其构建和训练需要利用Transformer,以及大量的领域特定数据。

工业视觉大模型具备领域泛化能力,能够适应多变的工业环境,特别是单场景的规模复制和多场景模型的泛化迁移。

工业视觉大模型具有一定的垂直场景通用性,在特定领域可以有效降低AI算法开发、训练的成本,因此在智能制造和自动化质量控制方面的应用非常迅速。

关键技术三(部分素材来源Landing.AI)

从工业AI视觉1.0时代向工业AI视觉2.0时代转变的过程,也是工业AI视觉从“可用”迈向“好用”的过程。

在“可用”的时代,“算法驱动”是破局的关键,小样本、AI算法、软件工具链、AI落地方法论这些成为企业开发和应用工业AI视觉的关键点。

在“好用”的时代,“以数据为中心”逐渐成为共识。高质量的数据开始作为构建强大AI算法的基础,同时,生成式AI算法能够利用有限的数据样本生成更多的可用数据,从而可以低成本达成AI模型训练。

而且,工业AI视觉2.0时代将更强调平台化,构建的AI平台将包裹并整合以往的软件、工具链和方法论等内容,解决企业中碎片化场景的应用问题,助力AI技术在企业各个分支工厂、不同场景的落地应用。

在工业AI视觉2.0时代的革新浪潮中,阿丘科技希望能够推动工业AI视觉平台及行业基础模型在工业视觉领域的垂直应用,降低企业AI落地成本和难度,帮助企业实现智能化升级。

工业视觉AI从1.0时代到2.0时代

三、工业AI垂直行业视觉大模型的实践落地

从2017年创业以来,阿丘科技始终致力于将先进的人工智能、机器视觉等技术应用于工业领域的智能化检测。目前,已落地800+工厂,标准工业AI视觉软件批量部署套数10000+,获得3C电子、动力电池、PCB等行业50+标杆客户的认可。在充满生机的工业AI视觉2.0时代,阿丘科技秉持开放的心态,将已实际落地的AI垂直行业视觉大模型实践与同行分享。

以工业视觉大模型在PCB行业中的实践为例。

PCB(Printed Circuit Board,印制电路板)是现代电子产品制造中的核心组成部分,被广泛用于计算机、手机、医疗设备、汽车、航空航天等众多领域,PCB的设计和制造质量直接影响到电子产品的性能。

随着技术的发展,PCB的设计工艺越来越复杂,缺陷种类多达上百种,根据产品应用场景不同,其检测情况也存在差异。

由于背景复杂,工艺属性强,产品尺寸规格多样,算法兼容适配难度大。PCB生产厂早期均采用基于传统算法的AOI(自动光学检测)和 AVI(自动视觉检测)设备检测PCB缺陷,设备调试复杂且误报率高,需要大量人工对假点复判。平均一台设备需要配置3-6名质检人员,人工复判的成本高、一致性差,质量难以把控。

针对这些难点,阿丘科技通过构建PCB行业垂直视觉大模型,通过三大步骤,落地实践。

步骤一,数据积累。阿丘科技收集了大量PCB行业现场的私有化部署缺陷数据,并进行了部分缺陷的仿真,不仅实现了行业场景数据的积累,还覆盖了上百种缺陷、细分类别,准确率达到95%以上。同时,基于阿丘科技AIDG智能缺陷生成工具,低成本、快速生成大量的缺陷样本数据,满足大模型训练的需求。

步骤二:标准定义。阿丘科技对各类出货检测标准进行汇总、整理和分级,逐步探索并确定了适用于PCB各交付场景的检测标准。

步骤三:预制模型训练。在AOI和AVI等场景中,阿丘科技使预制模型的覆盖度达到了90%以上。

这一过程极大地提升了交付效率,将原本需要120天的流程缩短至14天。不仅极大缩短了数据处理时间,还使得模型可以更快更稳地上线。截止目前,阿丘科技AI垂直行业视觉大模型在PCB行业已经导入了超过 100个工厂,累计升级设备数超过1000台,Top30的PCB客户覆盖率达到70%以上。

PCB行业案例

阿丘科技通过数据积累、标准定义和预制模型训练,成功将AI垂直行业视觉大模型应用于PCB行业,提升了PCB行业的工业视觉检测效率,缩短了交付周期,通过流程优化,提高了数据处理速度及模型稳定性。同时,阿丘科技也会继续扩大在工业 AI 垂直行业的技术能力,进一步深化和拓展其视觉大模型的应用范围,实现更高效的模型训练和更精准的缺陷检测,以满足市场对快速响应和高效生产的需求。

作为AI+工业先行者,阿丘科技将继续保持创新,不断将最前沿的AI技术应用于工业领域,为行业带来惊艳的AI产品解决方案,推动AI从可用变得好用。携手行业伙伴一同推动AI for Every Factory!