参考基于CNN的机械故障诊断方法
CNN之图像识别
预训练模型迁移学习（Transfer Learning）
基于卷积神经网络（CNN）的深度迁移学习在声发射（AE）监测螺栓连接状况的应用
参考基于CNN的机械故障诊断所面临的困难和挑战
CNN最初主要被用来处理二维图像，由于具有强大的认知计算能力，学者开始将其引入到机械故障诊断领域，能够很好地表征信号与机械健康状态之间复杂的映射关系，提高大数据背景下多样性、非线性、高维健康监测数据诊断分析能力。

1 CNN的数据输入类型

1.1 一维信号整合成二维矩阵

对于机械故障诊断，所采集的主要是一维的振动信号等，如何将一维的信号转换成二维信号，进而使用CNN来诊断便是许多学者研究的问题。
WEN L等将所采集到的一维振动信号通过滑动窗的方式截取一段长度为 1 × M² 的数据样本，然后按顺序 排列成 M × M 的二维矩阵具体转化方法如图所示。

将一维数据转化成矩阵后，再按下列公式将其转化成为灰度，进而成为灰度图像，便可用常用的CNN进行分类识别了。

这种数据预处理方法简单，计算量小，振动信号的 峰值转化成每一行的灰度值，造成转换后的图像较为 接近，很难区分，运用 CNN 进行训练时所需训练时间长，分类识别的精度有限。

1.2 信号变换实现二维图像的转换

为了研究更好地将机械振动信号转化成为二维图像，学者研究运用不同的信号处理方法对一维机械振动信号进行分解或变换。

一、变换
对于机械故障诊断，最为常用的分析方法是时频分布，通过时频变换的方法可以获取振动信号的二维时频分布图像，常用的时频分析方法有短时傅里叶变换、连续小波变换、S变换、 Hibert-Huang变换、Wigner分布等。

例如GUO S等提出了一种基于CWT和CNN的机械故障诊断方法，首先对振动信号做连续小波时频分布，提取完整周期的时频图，然后再用训练多个CNN进行分类识别。

Verstraete D等运用短时傅里叶变换STFT、HHT和小波分析的方法获取了时频分布图像，并将时频分布图像整合成 32×32、96×96 两种格式，分别测试了两种输入的诊断精度。

二、分解
第二种方法是将信号分解成多个分量，然后再将这些分量组成图像矩阵，常用的方法有小波变换、 VMD、EMD等方法。SUN W F等将双树复小波分解后的多尺度小波系数组成图像，再用CNN进行分类。

上述通过信号变换的方式实现一维信号向二维图像的转换方法中，时频分布无疑是最为常用和有效的方法。时频分布能够提供时间域和频率域的联合分布 信息，能够更好地凸显信号表征与机械健康状态的关 系，有利于CNN的训练和识别。

然而时频分布计算量大，图像分辨率高，输入CNN的数据量也大大增加，计算量大。利用小波变换、VMD 等对原始信号进行处理时，虽然能够对故障分量进行分离，并凸显故障特征， 但分解过程中存在一定的频率混叠现象，中间处理过程难免造成了信息的丢失，均会对诊断精度造成一定的影响。

1.3 一维信号直接输入

机械信号一般只与时间有关系，而图像涉及二维空间位置关系，两者具有本质的区别。CNN具有强大的信号处理分析功能，如果直接将测得的一维信号直接作为输入，则整合了传统的信号降噪、特征提取、特征选择和故障分类等流程，直接实现了点到点、端到端的故障诊断，最大程度地简化故障诊断的流程。

在CNN中要实现一维信号的输入，需要对CNN的网络结构进行改变，卷积核也应采用一维的卷积核。许多学者尝试了该方法，构建了一维CNN网络结构并运用于机械故障诊断，取得了不错的效果。

为了提高基于CNN的机械故障诊断效果，学者尝试采用对输入信号添加噪声干扰的方式，来提高CNN故障诊断模型的鲁棒性。

2 基于CNN的迁移学习故障诊断方法

2.1 迁移学习的概念

传统机器学习可以通过大量有标记的数据样本进行训练，进而挖掘数据内部的规律，实现基于监督学习的数据分类和预测。

存在的问题：
(1)首先，这个学习过程需要有大量己标注训练样本的支持，如果没有大量的标注样本，传统机器学习方法的研究与应用则无法开展;
(2)其次，传统机器学习假设训练数据与测试数据服从相同的数据分布。

只有满足上述两个前提，传统机器学习方法才能有效的工作。

然而，现实情况是在一些特定领域中，大量的训练数据非常难得到，训练与测试数据的同分布假设并不能得到满足，以及网络训练需要耗费大量的计算资源，需要有高性能的服务器平台。

针对上述困难，迁移学习提供了一种解决问题的新方法，它放宽了传统机器学习中的两个前提要求，允许迁移已有的知识来解决目标领域中仅有少量已标注样本数据的学习问题，也就是运用已有的知识对不同但相关领域问题进行求解。

迁移学习(Transfer Learning) 的目标就是将从一个环境中学到的知识用 来帮助新环境中的学习任务。

迁移学习可定义为:

2.2 CNN网络的迁移学习

CNN网络被成功应用于图像识别领域，出现了如AlexNet等许多经典网络模型，都需要使用大规模图像数据集进行训练，由于样本和参数的数量都十分庞大， 即使使用GPU加速化也会花费较长的训练时间，这是研究人员所无法接受的。

但CNN体系结构的另一个优势便是经过预训练的网络模型可以实现网络结构与参数信息的分离，并都以配置文件的方式进行保存，这 一特点极大地方便了广大研究者。只要网络结构一 致，便可以利用己经训练好的权重参数构建并初始化网络，极大的节省了网络的学习时间。

基于迁移学习的理论，对上述几种经典CNN网络进行适应性改造，将学习得到的网络模型和参数应用到新任务的小样本数据集上，进行网络微调，便可得到 一种新的深度图像卷积特征，该特征具有强大的语义表示能力，只需要线性分类器，即可对测试困像样本进行分类标注。

2.3 工程应用

现在工程中最为常用的还是VGG，ResNet，Inception这几种结构，设计者通常会先直接套用原版的模型堆数据进行训练一次，然后选择结果较好的模型进行微调与模型缩减。
工程上使用的模型必须在精度高的同时速度要快。
常用的模型缩减的方法是减少卷积的个数与减少ResNet的模块数。

(1)在实践中，由于大多数数据集不够大，很少有人从头开始训练网络，常见的做法是使用预训练的网络（例如在ImageNet上训练的分类1000类的网络）来重新fine-tuning（微调），或者当做特征提取器；
(2)迁移学习简单的讲就是将一个在数据集上训练好的神经网络模型通过简单的调整快速移动到另一个数据集上；
(3)随着模型的层数即模型的复杂度的增加，模型的错误率也随着降低。但是要训练一个复杂的卷积神经网络需要非常多的标注信息，同时也需要几天甚至几周的时间，为了解决标注数据和训练时间的问题，就可以使用迁移学习。

fine-tuning常见的两种迁移学习场景：
(1)卷积网络当做特征提取器，使用在ImageNet上预测训练的网络，去掉最后的全连接层，剩余部分当做特征提取器（例如AleiNet在最后分类器前，是4096维的特征向量）。这样提取的特征叫做CNN codes。得到这样的特征后，可以使用线性分类器（Liner SVM、softmax等）来分类图像；
(2)Fine-tuning卷积网络。替换掉网络的输入层（数据），使用新的数据继续训练。Fine-tuning时可以选择fine-tuning全部层或部分层。通常，前面的层提取的是图像的通用特征（generic features），例如边缘检测，色彩检测，这些特征对许多人物都有用，后面的层提取的是与特定类别有关的特征，因此fine-tuning时常常只需要fine-tuning后面的层。

2.4 专利信息

1、《基于CNN模型和迁移学习的滚动轴承故障诊断方法》
本发明针对基于模式识别的滚动轴承故障诊断方法适用性较差以及训练样本量不足的问题，提出了一种基于CNN模型和迁移学习的滚动轴承故障诊断方法，其包括以下步骤：首先，利用计算机仿真的方法，构造不同类别的滚动轴承故障仿真数据，对CNN模型进行训练和测试；然后，利用第一目标域数据和仿真数据集构建新训练集，将CNN模型的大部分参数迁移到目标域数据上，得到新CNN模型；再将第二目标域的数据集加入到原建训练集重新构建训练集，逐次进行迁移学习和更新模型的参数。利用该方法，CNN模型更容易收敛，降低了CNN模型的训练成本，降低了对目标域上的样本数据量的要求，得到的新CNN模型有更强的鲁棒性和适用性。

2、《一种基于CNN特征融合的小样本迁移学习故障诊断方法、系统、计算机及存储介质》
一种基于CNN特征融合的小样本迁移学习故障诊断方法、系统、计算机及存储介质，涉及旋转机械故障诊断领域。解决现有深度学习方法不能有效处理小样本，难以用于滚动轴承的故障诊断。方法包括：采集滚动轴承原始工况及目标工况下的振动信号，并对所述信号进行分割，构建源域样本数据集和目标域样本数据集；提取信号的时频特征，构建时频图像数据集；构建特征融合的CNN模型；将原始振动信号和对应的时频图像进行归一化处理并利用源域数据进行CNN模型训练，获取CNN训练模型；根据目标域中部分样本调整CNN训练模型，获取CNN故障诊断微调模型；采用所述微调模型诊断目标域剩余样本，获取故障诊断结果。应用于滚动轴承的智能检测领域。

3 基于CNN的多传感器信息融合故障诊断

随着监测对象越来越复杂，状态监测信号呈现非线性、时变性、不确定性等特征，当系统发生故障时，常常表现出多种征兆，仅仅依靠单一的理论方法和信息就难以对故障做出精确的判断，出现令人难以接受的 高几率虚警、漏报等现象。

多源信息融合 ( Multi-Source Information Fusion，MSIF) 技术:
利用计算机技术，对来自多种信息源的多个传感器观测的信息，在一定准则下进行自动分析、综合，以获得单个或单类信息源所无法获得的有价 值的综合信息处理技术。

多源信息融合技术的 研究目标是利用多个传感器优化组合的优势，提高系统故障诊断精度，一般包括数据级融合，特征级融合和决策级融合三个方式。多传感器信息融合要求所采集的信号是同步采集，同时这些信号对所诊断的故障都具有关联性。

3.1 数据级融合

数据级融合是直接对传感器的采集数据进行融合处理，然后基于CNN 网络进行训练和故障诊断。

数据层的融合主要是对CNN网络的输入信号进行处理，例如振动加速度信号、声发射信号、扭矩信号、瞬时转速信号等，对信号攫取相同长度的片段，然后采用并联或串联的方式进行排列。

采用并联方式时，多个传感器信号被整合成一张图像，则以图像的方式作为CNN 网络的输入;
采用串联方式时，多传感器信号被整合为一维信号，以一维信号作为网络的输入。

数据级融合的优点是数据量的损失最少，能够提供数据层中的细微信息，精度最高，但是计算量大。

3.2 特征级融合

特征级融合属于中间层次的融合，采用信号处理方式对每个传感器信号先提取出各自的特征向量，然后CNN网络完成特征向量的融合处理。利用现有的信号处理方法提取时域、频域、时频域等多维特征，然后再组合成二维图像或一维信号，进而再使用CNN进行训练和分类识别。

特征级融合的优点在于实现了数据压缩，降低了计算量，有利于实时处理。但由于损失了一部分有用信息，与数据级融合相比，融合性能有所降低。

3.3 决策级融合

决策级融合是高层次的融合，构建多个CNN网络实现对每个传感器先作出决策，然后在融合中心完成局部决策的融合处理。

该方法一般需要结合D-S证据理论来实现决策级的融合。

优点：
具有很高的灵活性，抗干扰能力强，传感器可以是同质的也可以是异质的，当一个或几个传感器出现错误时， 通过适当的融合，系统仍能获得正确结果。

缺点：
由于数据损失最多，融合精度较其他两级融合要低。

4 基于CNN的故障诊断面临的困难和挑战

4.1 机械故障诊断领域自身的特点和困难

(1)机械系统呈现大型化和复杂化， 一般由多个子系统、部件、零件组成，形成功能、故障和 征兆具有不同的层次性;
(2)故障状态呈现多样性，单一故障与复合故障并存，一种故障可能对应多个征兆，一种征兆可能对应多个故障;
(3)故障信号呈现复杂性，由于传递路径复杂，信号呈非线性、非平稳、故障特征微弱等特点;
(4)正常工况数据海量而故障数据缺乏和故障模式不完备等问题并存;
(5)故障数据呈不确定性。测试数据容易受测试环境影响、背景噪声干扰，使得系统故障和征兆具有随机性、模糊性和不确定性等特点。

基于上述的机械故障诊断领域所面临的难点问题，研究人员需要继续深入研究机械系统故障机理，探索CNN在机械故障诊断领域的适应性。

4.2 基于CNN的机械故障诊断展望

随着信息化技术的发展，状态监测系统已经能够实现对大型复杂机械系统进行多测点、高采样频率的全寿命数据采集，近而获取海量的状态监测数据。仅依靠专业技术人员和诊断专家来手动分析很不现实，需要研究智能方法进行自动分析。

基于CNN的机械系统故障诊断还有很多问题亟待研究和解决。

4.2.1 基于数据不平衡问题的CNN故障诊断

拥有“海量”的状态监测数据是研究基于CNN 机械系统故障诊断的前提。
故障诊断研究领域存在问题：
(1)基于试验台的测试数据多，基于工业系统的实测数据少;
(2)实验室模拟的故障数据多，实际发生的故障数据少;
(3)机械状态监测普遍存在这样一个难题， 在对机械系统进行状态监测时，可以容易地获得海量的正常工况状态监测数据，而故障工况数据难以获取和捕捉，从而导致数据样本的极度不平衡，给机械系统故障诊断带来困难。

因此，需要基于上述的现实情况，研究基于CNN的故障诊断模型来解决故障数据不平衡情况下的机械系统故障诊断。而CNN网络又需要大量的训练样本。

两者看似不可调和的矛盾，可以用两种办法来解决：

一是研究基于CNN网络的机械系统异常监测，即分两步走，实现检测与运行状态的异常，在积累一定故障数据量后采用增量学习的方法来提升CNN诊断系统实现故障模式的识别;
二是采用强化学习的方法，对目前少量的故障数据进行强化学习。

4.2.2 基于半监督学习的CNN故障诊断网络

在现代测试技术条件下，海量的状态监测数据容易获取，然而数据标记则需要专家知识，费时费力且代价高昂，因此获取高质量的标记数据往往非常有限，容易得到的通常是大量正常数据和少量异常数据混杂在一起的不纯净数据集。

因此如何在数据集不纯净的条件下提升故障诊断性能成为该领域亟需解决的问题。如何利用大量的未标识样本来改善分类器的性能是当前机器学习研究中最受关注的问题之一。

半监督学习:介于监督学习和无监督学习之间的学习模型，能够同时利用少量标识样本和大量未标注样本信息，从而获得更好的分类性能。

因此，在现有条件下，充分利用未标记数据样本，研究基于半监督的CNN故障诊断方 法，是今后基于CNN的机械故障诊断研究的一个方 向。

4.2.3 基于CNN的深层次特征提取稳定性研究

目前的机械故障方法大多是基于单一运行工况 (稳态或恒速) 条件的假设。复杂的机械系统的故障诊断往往容易受到其复杂运行工况的影响，若不考虑复杂工况，将会极大地降低故障诊断或性能评估的准确性。

因此，挖掘机械系统运行工况与状态监测信号之间的内在联系，寻求故障特征的稳定有效表征方法，是机械故障诊断领域未解决的难题。

基于CNN网络， 研究人员已经构建出图像和语音的基本构成元素，而 针对机械故障诊断的特点，结合海量的机械状态监测 数据，运用CNN研究机械故障诊断深层次稳定性特征 提取，是今后值得深入研究的课题。

4.2.4 CNN与基于知识的推理相结合

基于CNN故障诊断是基于数据驱动的方法，以海量数据样本的学习为基础，而在实际工程应用中，正常样本多而故障样本少，测试的数据不可能囊括所有的故障模式。所监测对象往往具有复杂的结构、多子系统或部件，相互之间具有层次性和关联性，要想实现全面的状态监测需面临多测点、多数据类型和复杂的关联性，实现全系统故障诊断难度大。在这种情况下，基于数据驱动的CNN故障诊断模型使用必将受限。

而设备在设计之后，具有该机械设备的构造、组成、基本工作原理和可靠性分析等领域的专家知识，结合适当的测试数据，便能够实现基于知识推理的故障诊断。

CNN模型的可视化和可解释性差，而基于语义分析的LSTM网络诊断能力不足，因此，若能够将数据驱动和知识推理相结合，将深度学习中的基于数据推理的CNN网络和基于语义分析的LSTM等网络相结合，发挥混合模型的优势，必将大大提高机械故障诊断的性能和智能化水平。

4.2.5 基于BIT的小型低功耗CNN故障诊断模型

CNN网络虽然在图像、视频、语音等领域得到成功应用，但是其需要海量的数据规模，需要的计算资源较多，动辄就是云计算和高性能的服务器，对硬件要求高，计算资源消耗大，在一定程度上影响了深度学习在工业在线监测中的应用。

基于CNN的故障诊断系统，存在“移动设备算不好、嵌入式设备算不了、服务器算不起”的尴尬局面。

需要深入研究人脑智能的认知计算原理，对 CNN 网络进一步的优化设计以及参数的优 化调整，摒弃暴力计算，基于“乌鸦”模式，解决“小数据、大任务”的在线学习自主智能，研究一种适合于嵌入式状态检测和低功耗硬件平台的 CNN 诊断模型，提升在线状态监测和故障诊断的适用性。

4.2.6 CNN诊断系统在同类型设备的迁移应用

传统的基于机械学习的机械故障诊断系统一般适 合于特定对象，严重制约了故障诊断系统的推广应用。CNN 故障诊断系统的成功运用，需要经过充足的故障样本数据的训练。对每一台设备都开展大量的故障试验显然不现实。

因此，为实现 CNN 故障诊断系统在同 类型或相似机械装备之间的有效利用，需深入研究迁 移学习的基本理论，开展相同类型或相似机械设备之 间故障诊断模型或故障数据的可迁移性分析。

为实现故障数据的有效利用，分析数据可迁移性，研究如何基于已有设备大量故障样本数据和相似设备有限样本数据条件下，通过相互重构，映射到某个共享特征空间， 实现样本数据缺失设备的故障模式自主认知。分析故障诊断模型的可迁移性，通过训练后的 CNN 故障诊断模型与少量同类型或相似设备的故障数据的迁移训练学习，实现CNN 故障诊断系统在机械故障诊断领域的推广应用。

CNN 作为一种典型的深度学习网络，以深度学习 理论为代表的从人脑信息处理机制去研究高级认知的方法，在机械故障诊断领域的研究和应用越来越受重 视。

CNN 纵然有很多优点，但是它是基于海量数据的训练学习，带来的问题就是特征维度和计算量剧增，针对机械系统故障诊断的特点，基于 CNN 的机械故障诊 断仍存在许多问题待研究解决，进而提高其在机械故障诊断领域的适应性。