智能制造评价理论研究现状及未来展望

摘要：智能制造是实现制造强国的重要途径，随着我国智能制造进入全面推广阶段，针对智能制造发展水平开展科学评价成为现实需求。本文系统梳理了近年来有关智能制造评价理论的研究成果，从智能制造的关键技术、系统全局、行业领域3个视角归纳总结了智能制造评价体系的研究情况，对比分析了智能制造评价研究中常用的评价方法；剖析智能制造评价研究方面存在的主要问题，针对性探讨领域的未来研究方向。研究认为，现行智能制造评价的标准、流程、指标体系、应用等方面存在欠缺，需要从评价范式、评价体系、新技术融合等方面加以改进完善，以推进智能制造评价理论研究并指导智能制造发展。具体而言，健全标准设计，建立智能制造评价范式；优化指标体系，丰富关键核心评价内容；强化新技术融合，推进理论实践协同并进。

一、前言

智能制造是新一轮工业革命的核心驱动力，世界制造业的重要发展方向，我国制造强国建设的主攻方向，其发展水平事关我国制造业的未来国际竞争力。经过持续努力，我国智能制造在初步概念普及、试点示范建立之后，逐步进入了深化应用和全面推广阶段。尽管智能制造在一些大型标杆企业中取得了快速发展和显著成效，但对一般企业尤其是中小企业而言，引入智能制造仍然面临特殊的挑战。多数企业发展智能制造处于起步阶段，企业内部仍存在认知困惑和实践误区，未能确定企业在智能化转型中所处的位次，难以明晰智能制造的实施路径。这些方面都是我国智能制造全面推广布局阶段亟待解决的问题。

企业对自身智能制造所处阶段作出合理判断是明确智能化发展路径的前提。构建智能制造评价体系以精准衡量企业的智能化水平，不仅可为制定行业宏观政策提供依据，也能够帮助企业及时识别瓶颈并科学规划发展路径，从而起到辅助管理决策的作用。目前，智能制造评价研究得到了学术界、工业界的广泛关注，有关智能制造评价的研究成果相继涌现。及时开展有关智能制造评价研究成果的调查、分类和总结，科学提炼领域的未来发展方向，极有必要。也要注意到，现有的评述类文章较多关注智能制造的概念框架、技术进展，较少开展智能制造评价研究的进展调查与综述。针对于此，本文尽量全面回顾智能制造评价理论研究方向的已有文献，从评价体系、评价方法两方面对前沿进展进行梳理、归纳和总结；力求深入探讨该研究方向存在的问题并展望未来发展，以期为智能制造领域的从业者和研究者提供基础参考。

二、智能制造评价体系研究现状

在前期，智能制造的评价研究主要围绕某一类具体技术领域展开。随着有关智能制造认识的逐步加深，相应的评价体系也朝着由部分到整体、由单一向多元的方向发展。近年来，智能制造评价研究主要在关键技术、系统全局、行业领域等方面建立起了评价指标体系。

（一）面向数字化、网络化、智能化的关键技术评价

智能制造属于多种关键技术的综合应用。大数据、云计算、工业互联网、人工智能（AI）等新兴信息技术的出现、发展和应用，推动了我国制造业的数字化、网络化、智能化发展进程。

数字化制造可称为第一代智能制造，表现为以数字化为主要特征的信息技术应用于制造业。数字化阶段的主要评价内容是企业的数据管理能力。能力成熟度模型是常用方法之一，经典模型主要有国外研究机构提出的数据管理成熟度模型（DMM）、数据管理能力评价模型（DCAM），我国研制的数据管理能力成熟度模型（DCMM）等；多从数据战略与治理、数据质量与安全、平台与架构等要素入手，选取数据管理的评价维度。相较于以数字化技术为核心的第一代智能制造，数字化转型是组织使用数字化思想改变其业务运营模式、价值创造方式以应对环境变化的过程。对数字化转型的评价不仅需要关注数字技术，还要更多关注组织的战略、人员、流程等要素。

互联网技术的发展及其应用，推动了制造业向数字化、网络化制造的转型过渡。我国工业界准确把握互联网发展的新机遇，将工业互联网、云计算等新兴技术应用于制造业。工业和信息化部发布的《工业互联网平台评价方法》（2018年），为开展工业互联网平台的评价与遴选工作提供了依据。工业互联网平台建设能力评价框架包含了具体的评价指标体系和评价方法，在操作性上具有优势。云制造是一种基于云计算的先进制造模式，能够将制造资源转化为全面共享和流通的服务；关于云制造服务评价体系的研究涉及服务质量评价、服务信任评价、服务综合评价等。

智能制造最终将走向数字化、网络化、智能化制造，即新一代智能制造。在此阶段，AI技术将充分赋能智能制造，使制造系统具有学习能力。美国斯坦福大学自2017年起逐年发布《AI Index》，《2018中国人工智能指数》沿用2017年《AI Index》中的指数体系来度量我国AI的进展和影响。《国家新一代人工智能标准体系建设指南》（2020年）明确，我国到 2023年初步建立AI标准体系，为评估智能制造发展水平提供依据。已有的学术研究大多关注AI自身发展水平评估，也有对AI在智能制造中的应用进行论述，然而对AI技术在制造业应用水平评价方面缺少系统性的研究。

（二）面向智能制造整体的系统全局评价

针对关键技术的评价是对智能制造评价的局部揭示，而智能制造是一个复杂的制造系统，从整体视角提出全面系统的评价体系更能适应现实需求。相关研究主要有基于成熟度理论的评价、基于制造企业系统层级的评价、面向企业效益的评价。

能力成熟度模型不仅可用于评估数据管理能力，也适用于智能制造系统全局评价。我国发布的《智能制造能力成熟度模型》（GB/T39116—2020），为智能制造能力评估提供了模型与能力要素参考。美国、德国分别提出了“制造成熟度等级手册”（2012年）、“工业4.0就绪度模型”（2015年）。有关智能制造能力成熟度的研究主要从企业层面、区域层面展开。在企业层面，智能工厂、中小企业、制造企业是重点研究对象，人员、组织、技术、流程等能力要素是各成熟度模型共同关注的元素。相对而言，区域层面评价考虑的评价维度更为宏观，如有研究从互联性、互操作性、虚拟化、信息透明度4个方面分析了欧盟各国制造业企业实施“工业4.0”的就绪程度；在一定程度上服务于宏观政策的制定，而不同区域的战略与政策也造成研究者关注的评价维度存在差异性。

制造企业系统层级是对智能制造能力评价的另一个切入视角。系统层级指与企业生产活动相关的组织结构的层级划分，可分为设备层、单元层、车间层、企业层、协同层。按照企业生产组织的层级划分来构建智能制造评价指标体系，是一种简洁直观的思路；进一步将生产活动上升到管理层面，基于管理活动的层级划分为智能制造系统评价提供了新视角。例如，有研究基于运营管理理念提出了智能工厂评估框架，将管理活动划分为战略规划、管理控制、运营控制；其中的运营控制对应于前述基于生产活动的层级划分，包含企业级、工厂级、机器级3个层级。

智能制造推动了产业模式的转变和创新，如服务型制造等先进制造模式出现，有效提升了工业生产效率和价值创造能力，对企业绩效具有正向促进作用。对企业效益的评价是检验智能制造实施水平的有效方式。《智能制造评价指数（征求意见稿）》（2020年）规定，智能制造的评价框架包括过程类、成效类评价指标：前者主要衡量企业在实施智能制造过程中的基础保障与业务优化水平，后者重在衡量企业在实施智能制造后产生的效益效果。多数研究在对企业效益评价时重点关注经济效益指标，而事实上在一些理论研究和实践中，绿色甚至可持续也被纳入智能制造范式。于是部分研究从环境效益、可持续性的角度开展智能制造评价，丰富了智能制造企业效益评价的内容构成。

（三）面向制造业分类的行业领域评价

根据生产过程中使用的物质形态差异，制造业主要分为离散型、流程型。典型的离散制造业有机械、航空、船舶、汽车等行业，典型的流程制造业有石油化工、冶金、造纸、食品等行业。

以“工业4.0”为代表的离散智能制造是行业评价的重点。部分研究探讨了整个离散制造业的通用智能制造评价体系，如离散型制造企业工业4.0成熟度评估模型包含了产品、客户、运营、技术、战略、领导、管理、文化、员工9个维度，前4个维度用于基本的使能因素评估，后5个维度将企业组织层面纳入评估体系。还有部分研究聚焦具体行业领域（如机械制造、纺织制造）的智能制造评价研究，如有研究认为评价集中于广义的智能制造，而针对机械领域的评价研究较少，针对性构建“双E能力”量化评价指标体系来对智能机械制造进行评价。

与离散制造业以加工组装产品为主所不同，流程型制造过程涉及复杂的物理化学反应，工艺参数众多且互相关联；流程型企业对生产过程的流畅性、低错误率、实时反馈有着强烈需求。这些因素导致流程型企业智能制造评价具有一定难度，因而缺乏系统的研究；仅有少量文献开展初步研究，如将流程型企业智能制造能力划分为智能技术、智能生产、智能应用三类。也要注意到，一些类似的研究进展具有相通性，可为流程型企业智能制造评价提供参考借鉴，如用于流程工业关键绩效评价的多元统计组合预测方法、结合流程工业特点对ISO22400标准中的34个关键绩效指标进行改进以提升指标在流程工业适用性的方法。

在行业领域评价的实践方面，国家信息中心在有关部门指导下开展了“智能制造分级指标体系研究”，采用咨询服务机构评价、企业自评价相结合的方式推进企业智能制造发展水平评价工作，为政府掌握行业、区域的智能制造发展水平提供了依据。

三、智能制造评价方法研究现状

评价方法是获取评价结果的工具，在整个评价流程中起到不可或缺的作用。科学设计或选取评价方法，既有利于顺利推进评价流程，也事关评价结果的可信度与可靠性。国内外大量的综合评价理论与方法研究，为针对智能制造实践开展的方法应用提供了直接支持。

对来自中国知网（CNKI）数据库、科睿唯安Web of Science 核心合集数据库的相关文献进行统计分析，得到出现频次居前 10位的智能制造评价方法分布情况（见图1）。根据评价过程中是否含有主观因素，可将评价方法划分为3类：

①定性评价方法，如专家调查法（Delphi法），主要利用专家的知识、经验或偏好进行评级、评分或赋权；

②定量评价方法，如因子分析法、神经网络法、数据包络分析法（DEA）、生命周期评价法（LCA）、TOPSIS法，主要基于统计数据进行数学处理获得客观评价结果；

③定性和定量相结合的方法，如基于模糊理论的方法、层次分析法（AHP）、网络分析法（ANP），融合了定性/定量方法的优势。每种方法在应用于智能制造评价时，通常需要根据方法特点、实际问题进行调整与改进。

从智能制造评价方法的使用情况来看，基于模糊理论的方法、专家调查法、层次分析法最为常用，或多或少都带有一定的主观因素，虽能充分利用专家的经验和知识，但难免受到人为判断的影响；诸如神经网络法、数据包络分析法等定量评价方法，能够避免人为因素，但离不开数据基础。因此，每种评价方法都各有侧重、互有长短且适用范围各异，不存在明显的应用比较优势。

值得注意的是，图1中展现的是单一评价方法，而在理论研究、实际应用中大多采用“组合”思路，即结合数种评价方法的优势来体现“取长补短”的效果。例如，采用专家调查法收集指标数据，通过层次分析法设定指标权重值；结合层次分析法、熵权法的优点得出组合权重值，基于模糊数学理论建立模糊综合评价模型。组合评价方法能够在一定程度上避免单一评价的片面性，增强评价结果的稳健性；层次分析法、专家调查法在各类组合方式中出现频率最高。这都表明，智能制造评价研究需要以一定的知识与经验积累作为评价的基础。

图1 智能制造评价方法使用频次前10位及其分布

整体而言，当前智能制造评价方法融合了定性和定量的因素，由传统单一评价向有机组合评价转变。已有评价方法多为静态评价，而事实上智能制造评价过程是动态发展的，有必要对智能制造系统在不同时刻的整体发展水平进行实时动态评估。基于数字孪生技术的系统模拟与仿真，能够实现智能制造系统中物理实体与数字模型的完整动态映射交互，为智能制造动态评价提供了新的研究思路。

四、智能制造评价研究存在的问题

（一）评价范式建立问题

评价范式是智能制造评价科学共同体进行研究时遵守的技术框架与模式范例。科学且符合时代潮流的智能制造评价范式可为智能制造评价活动提供理论基础和实践依据。当前，智能制造评价研究取得了阶段性成果，但评价标准不一、评价方法繁多，在评价范式的探索方面仍有不足之处。

一是评价标准不完善。评价标准是形成智能制造评估意见与报告的判定基准，是对被评估项目的一种理想预期。现阶段，国内外学者虽然构建了多种智能制造评价框架，但是针对智能制造还没有形成一套真正的评价标准。究其原因，在于对智能制造这一兼具复杂性和系统性的概念没有统一、准确的认识。各工业大国都将智能制造视作工业发展的关键，提出“工业 4.0”“先进制造”“互联工业”等战略规划，但相关战略各有侧重，顶层设计也不尽相同。如果机械采用“拿来即用”的方式，极大可能导致评价标准不符合本土国情。在我国，目前智能制造标准体系尚不健全，研究者或评价者对智能制造的内涵认知不甚清晰，也就导致智能制造评价标准不明确、不具体。

二是评价流程不规范。科学有效的评价流程是评价活动顺利开展的重要保证。现有研究形成了一般性的智能制造评价流程，包括明确评价原则、确定评价维度、设计评价方法、实证或实例分析等步骤。该流程覆盖了评价活动的大部分环节，但在关键步骤的设计与实施方面存在一些问题及缺陷。例如，部分研究过分重视对评价方法的改进，反而忽略了评价对象的复杂性以及评价的真正目的，造成最终的评价结果偏离最初的评价目标；也有部分工作仅讨论了需要关注的重点评价维度，对评价方法则未曾提及，使得可操作性不强；多数研究止步于获得评价结果这一步，而对评价结果的实践应用缺少充分讨论，未能发挥出智能制造评价服务于管理实践的应有作用。

三是评价方法论缺失。评价范式是进行智能制造评价活动的一整套规范，包含且不限于前述的评价标准确定与评价流程设计。虽然各种智能制造评价方法相继被提出，但尚未形成公认的评价范式，众多研究成果难以显现有效合力以服务于智能制造行业。现有的研究视角相对具象化、片面化，对智能制造系统性、整体性的表现能力较为薄弱，难以在不同应用场景之间迁移应用。整体来看，缺少智能制造评价模型构建的顶层方法论依据；一些研究直接将已有的评价理论与方法套用到智能制造评价中，造成评价过程的信度和效度受到质疑，使得评价效果参差不齐。

（二）评价体系设计问题

评价指标体系关注的是被评价对象的系统特性。科学全面的评价指标体系既是开展智能制造评价的关键，也是将评价结果应用于管理决策的依据。智能制造是一个广泛而复杂的概念，研究者对智能制造的理解不尽相同；各式各样的评价指标体系相继被提出，相关研究呈现“百花齐放”的态势。尽管这些评价指标体系对智能制造的发展起到了促进作用，但其中仍存在诸多问题，制约着智能制造评价研究的深化与应用。

一是指标选择不客观。科学客观的评价指标是进行智能制造评价的核心，也是进行有效评价的前提。在已有研究中，多数基于人员的知识或经验来选取关键评价指标。这种定性的指标体系构建过程存在知识结构局限、专家准入机制等问题，使得评价结论存在主观性、缺乏创新性；部分指标的选取比较抽象、难以量化，导致数据不可得或者需要采取问卷调查/专家打分的方式获取指标数据，难以保证评价数据的真实性和客观性，给后续评价工作的实施带来了困难。

二是评价维度不全面。智能制造系统本身具有复杂性，加之追求优质、高效、低耗、绿色、安全等多个目标，导致了评价维度的复杂性和多样性。现有指标体系对智能制造内涵的全面表征能力不足，有关测度与评价侧重表达智能生产、支撑技术、组织人员、经济效益等维度，缺乏对智能制造模式、社会环境效益等方面的关注。此外，观察尺度、评价单元的不同会导致时空格局、评价维度的差异。就智能制造评价的空间尺度来看，已有研究以制造企业、智能工厂等微观尺度的评价为主，对国家、区域、省/市等宏观尺度的研究仍待开展；尽管存在不同空间尺度的评价研究，但对尺度关联、尺度间效应的关注有所缺失。就智能制造评价的时间尺度而言，多数研究基于某一特定时间截面展开，评价指标体系的构建未能突破静态层面，对不同时刻的动态分析尤显缺乏。

三是行业研究不充分。制造业涵盖的领域较为宽泛，不同的细分制造方向既有共性又有个性，而目前智能制造的评价研究大多针对整个制造业的共性特征展开。就企业自身而言，因细分制造方向的个性差异，其智能化体系是有差别的，如离散制造企业、流程制造企业的生产结构存在不同，同属流程制造业的钢铁、造纸的生产及业务流程也有区别。一套面向制造业共性的整体评价体系，很难对这些存在鲜明个性的细分制造方向进行科学全面的判断。因而针对智能制造行业个性特征的评价方案相对缺乏。

（三）新技术融合问题

智能制造评价研究为判断智能制造所处发展阶段、拟定智能制造发展计划等提供了理论依据，但整体上仍停留在理论研究阶段，解决智能制造实际面临问题的能力依然薄弱。将评价理论有效应用于智能制造管理实践是值得关注的问题，尤其是新兴信息技术的出现和发展为智能制造评价理论走向实践应用提供了新思路，目前在这些方面面临一些制约。

一是大数据应用能力相对薄弱。制造系统产生的数据正在经历爆炸式增长，大数据技术不仅是赋予制造“智能”的核心要素，也应是推动智能制造评价应用的有效手段。现有评价方法与大数据资源对接的能力存在明显不足，成为智能制造评价理论难以落地应用的重要原因。一方面，部分制造企业数字化水平偏低、数据采集不充分，在进行评价时难以保证指标数据收集的完备性和实效性。另一方面，企业丰富的数据资源没有被充分挖掘，如传统评价方法通常先建立评价指标体系，再以调查问卷、人工打分等方式获取指标数据，企业的大量数据与评价方法所需指标数据不协调、不匹配，导致数据的价值难以在评价过程中得到充分体现。

二是评价服务平台建设存在不足。智能制造评价服务平台是推动评价理论走向实践应用的有效载体，为智能制造评价活动的开展提供平台支撑。目前，国内已有机构开发了智能制造评价服务平台，如中国电子技术标准化研究院建立的智能制造评价评估公共服务平台，可为制造企业提供自诊断服务；但在平台建设与应用方面仍面临以提升平台的灵活性来满足多元化个性化的评估需求，提升平台的智能性以满足评价过程中的实时、交互、规范、通用等要求，有效推进可持续的平台应用等为代表的瓶颈环节。这些有待解决的问题在一定程度上制约着智能制造评价的应用层次。

五、智能制造评价未来展望

（一）健全标准设计，建立智能制造评价范式

1. 完善智能制造评价标准体系

工业大国依据现有的战略、规定、政策等，积极发展符合本土国情的智能制造评价标准。就我国而言，建议依据《国家智能制造标准体系建设指南》，明确智能制造的概念内涵，推动建设符合产业发展亟需的智能制造标准体系；管理部门、科研院所组织或参与制定不同视角、不同层面的智能制造评价标准体系（如国家评价标准、行业评价标准等），为智能制造评估活动提供一套标准框架。

2. 设计并优化智能制造评价流程

突出以目标为导向的评价，关注评估的动机和目的，确定评估的时间节点（事前、事中、事后）和评估对象（自评估、他评估）；针对不同的评估目标，确定相应的评价维度、数据来源、赋权方法、结果应用方式。在评价过程中关注评价对象、评价环境、决策目标的变化情况，适时开展评价流程的调整和再设计。发挥评价结果对改善管理实践过程的关键支撑作用，依据评价结果科学建立智能制造发展线路图，形成问题导向、动态调整、指导实践的智能制造评价流程。

3. 建立智能制造评价的科学范式

聚焦智能制造评价的关键构成要素，完善并规范评价标准、评价目的、评价者、被评价者、评价方法、评价结果。建议发挥政府的顶层设计作用，由上而下推动智能制造评价范式的理论框架建构，深化智能制造评价的学术界和工业界共识。注重实践应用转化，借鉴国外相对成熟的评价实践框架并与我国基本国情、制造行业特点相结合，设计智能制造评价范式的实践程序；融合理论框架与不同的实际场景，提升评价范式场景适应性，保持智能制造评价范式的动态更新和适时转换。

（二）优化指标体系，丰富关键核心评价内容

1. 构建评价知识库和数据库

针对智能制造评价指标体系构建的主观性、专家知识依赖性问题，构建国家级、省级智能制造人才专家库，借助信息技术收集并整理库内专家在长期研究实践中积累的经验知识，形成智能制造评价知识库；整合制造企业丰富的数据库资源，收集并整理不同粒度、多元维度的评价数据样本，形成智能制造评价数据库。通过知识、数据的归集提炼，支持改善评价数据的实时性、真实性。

2. 优化多维评价指标体系

在全面理解智能制造内涵的基础上，拓宽评价覆盖维度，保证评价指标的完备性，如对智能制造企业效益进行评价时，评价指标体系要综合反映经济、环境、社会等多个维度。针对不同智能制造模式补充个性化指标，如对服务型制造进行评价时，需要关注智能制造的业务视角，设计智能服务水平指数用于衡量客户多样化、个性化、定制化需求的满足能力。此外，加强智能制造评价不同时空尺度的挖掘：

一是各级管理机构应引导开展宏观空间尺度的智能制造评价研究，精准支持政策制定；

二是关注时间尺度上的动态评价，推动智能制造发展水平的动态预测；

三是研究不同尺度之间评价指标的差异性和变换机制，支持实现智能制造评价结果在普适性、针对性方面的同步提升。

3. 强化制造业细分方向的研究

制造业的细分方向众多，各级管理机构宜根据不同细分方向的典型特征来制定差异化的产业发展政策，引导高校、科研院所开展基于制造业行业划分的智能制造评价研究。借鉴以“工业 4.0”为代表的离散制造业相对成熟的评价方案，融入流程制造业的个性特征，研究流程制造业的智能制造评价方案，形成以离散制造业、流程制造业为主的两大类智能制造评价框架；进一步引入行业特征，将评价框架应用到代表性的制造业细分方向，形成智能制造评价的行业细分解决方案。

（三）强化新技术融合，推进理论与实践协同并进

1. 利用新兴信息技术赋能智能制造评价

制造企业应高度重视工业大数据中心的建设工作，结合物联网、智能传感等技术实现工业数据的收集、存储、处理，为实施智能制造评价提供完备的数据基础。发挥大数据在评价决策中的重要价值，结合数字孪生等技术拓宽智能制造评价空间，实现评价过程由静态向动态转变、评价环境由简单到复杂转变、评价数据由结构化向非结构化拓展。结合AI相关技术，研发人机交互的智能化评价决策支持系统，匹配实时、交互、规范的评价应用要求。

2. 建设并完善个性化评价服务平台

针对制造企业对自身智能制造发展水平的多元化评估需求，建议各级管理机构组织遴选具有资质的评估机构并形成专业的评价机构库，据此推进各类核心评价业务系统建设，形成高度集成、灵活扩展的智能制造评价服务平台，为制造企业提供个性化、模块化的评测服务。鼓励制造企业参与自评自测活动，反馈评测体验和意见，改善和优化评价效果。各级管理机构利用评价服务平台的数据优势，分析掌握本区域企业智能制造发展的整体情况，制定相应政策和战略规划，引导企业高效率、高质量地发展智能制造。

作者：何慧霞1、魏桂英1、武森1、单志广2

1 北京科技大学经济管理学院 2 国家信息中心信息化和产业发展部

项目来源：国家自然科学基金项目“基于深度学习的高维混合数据融合特征表示及聚类研究”（71971025）

本文转载自微信公众号中国工程院院刊，原载于《中国工程科学》2022年第2期

产业 | 工业化 | 数字化 | 人才 | 创新创业 | 颠覆性技术 | 科技指标 | 科技政策 | 前沿技术 | 知识产权 | 智库 |

获取方法如下：

其他系列将陆续呈现，多多关注哦！

投稿邮箱：nais-research@cnais.org.cn