STRUCTURAL HEALTH MONITORING BASED ON INNER PRODUCT MATRIX AND DEEP LEARNING
-
摘要: 环境激励下仅利用振动响应的结构健康监测方法，因其便于实现在线监测受到了越来越多的关注。该文回顾了以振动时域响应相关性分析为基础的结构特征参数(即内积向量)的基本概念及特征。为了从已有测试数据中提取更多的结构特征参数，分别以各个响应测点为参考点来构建多个内积向量并组成矩阵，将内积向量扩展到了内积矩阵。进而以内积矩阵为结构特征参数，结合深度卷积神经网络的特征提取能力，提出了基于内积矩阵及深度学习的结构健康监测方法。典型航空加筋壁板螺栓松动监测的实验研究结果表明，仅利用结构在环境激励下部分测点的振动时域响应，该文方法可以准确地识别螺栓松动位置。Abstract: Structural health monitoring methods using vibration responses only under ambient excitation are appealing as its convenience to realize on-line monitoring. The basic concepts and characteristics of structural characteristic parameter (i.e. inner product vector) based on the correlation analysis of time domain vibration response are reviewed. In order to extract more structural characteristic parameters from the existing test data, the inner product vector is extended to the inner product matrix by using several inner product vectors which are constructed by setting each measurement point as the reference measurement point. Furthermore, taking the inner product matrix as the structural characteristic parameter and combining the feature extraction ability of deep convolution neural network, a structural health monitoring method based on deep learning and inner product matrix is proposed. The experimental results of monitoring the bolt loosening of a typical aeronautical stiffened panel show that the bolt loosening position can be correctly located using the time domain vibration response only under ambient excitation.
-
基于振动的结构健康监测方法因其容易实现在线监测，一直以来受到国内外研究者的广泛关注。根据结构健康监测是否需要建立准确的结构理论模型，基于振动的结构健康监测方法可分为基于模型的方法及不基于模型的方法[1]。基于模型的方法一般为基于有限元模型修正的方法，其计算过程直观、物理意义明确[2]。对于较为复杂的结构，一般不容易建立其准确的理论模型，因此不基于模型的方法更容易应用于复杂结构的健康监测。不基于模型的方法一般利用结构时域响应、频域响应或模态参数及其组合[3-5]，并结合相关数据处理方法，建立结构振动响应特征量与结构健康状态的对应关系。可以看出，数据处理在不基于模型的方法中有着至关重要的作用；同时，针对实际工程结构的健康监测往往涉及大量的测试数据。因此基于大数据及深度学习思想的结构健康监测研究是该领域的一个发展方向[6-7]。
深度学习作为一种更容易实现人工智能的机器学习方法，近些年来首先在计算机视觉、语音识别、自然语言处理等领域取得了显著的成效[8]。深度学习的本质是通过深层次特征提取来获取数据特征，因此在与数据处理相关的其他领域也开始受到关注，如数据检测[9]、优化设计[10]、机械/结构健康监测[11]等多个领域。在结构健康监测领域，目前基于深度学习的方法主要从两个方面开展研究：一类基于图像识别的方法；另一类是基于振动响应信号处理的方法。
基于图像识别的方法也称计算机视觉，通过对结构局部照片图像进行特征提取并识别其健康状态[12]，一般监测的均为结构表面裂纹、表面腐蚀等结构表面损伤，其本质属于图像识别，且广泛采用的是卷积神经网络及其扩展网络。例如，Cha等[13]及Dorafshan等[14]利用卷积神经网络识别了混凝土的裂纹损伤，Liu和Zhang[15]利用卷积神经网络识别了结构钢的超低周疲劳损伤裂纹，Reddy等[16]利用卷积神经网络识别了风机叶片的裂纹损伤，Yao等[17]利用卷积神经网络识别了船体结构板的腐蚀损伤，Ren等[18]利用全卷积网络识别了混凝土中裂纹损伤。
基于振动响应信号处理的方法利用深度神经网络从振动响应中提取损伤特征，进而建立振动响应与结构健康状态的映射关系，目前研究中最常采用的都是卷积神经网络或自编码器。在这类方法中，主要研究集中在两个方面：一类为旋转机械的故障诊断；另一类为结构损伤检测。在旋转机械故障诊断研究中，Guo等[19]提出了基于分层自适应深度卷积神经网络的轴承故障诊断方法，并采用轴承故障诊断实验验证了方法的有效性；Jing等[20]提出了基于一维卷积神经网络的故障诊断方法，并利用PHM2019变速箱数据以及行星齿轮箱数据验证了方法的有效性；Chang等[21]提出了基于并行卷积神经网络的故障诊断方法，并采用涡轮机齿轮的故障诊断实验验证了方法的有效性；Chen等[22]提出了基于卷积循环神经网络的故障诊断方法，并采用涡轮机齿轮的故障诊断实验验证了方法的有效性。在结构损伤检测研究中，Lin等[23]提出了利用多个测点加速度响应作为深度卷积神经网络输入的损伤定位方法，并利用仿真简支梁的损伤检测示例验证了方法的有效性；Pathirage等[24]以结构固有频率及模态振型为输入提出了基于堆栈自编码器的深度学习框架，建立了包含特征降维及关系学习两个步骤的结构损伤检测方法，并通过钢框架模型单位置及多位置损伤检测的仿真算例及实验研究验证了方法的有效性，之后他们利用堆栈稀疏自编码器来改善特征提取过程的抗噪性[25]，仿真及实验结果表明采用稀疏自编码器在存在测量噪声及模型不确定性的情况下可以显著提升检测精度；Liu等[26]利用过桥车辆上测试的振动加速度信号及相关特征降维技术(主成分分析、等度量映射、拉普拉斯特征映射、堆栈自编码器)获取结构损伤特征，建立了用于桥梁损伤检测的数据驱动方法，通过损伤检测模型实验验证了方法的有效性，结果表明采用堆栈自编码器的检测效果最佳。
上述研究现状可以看出，不管是基于图像识别的表面损伤检测还是基于振动信号处理的各类型损伤检测，其基本原理都是利用深度神经网络强大的特征提取功能，建立可获取的损伤图像或振动响应与结构健康状态之间的映射关系。
笔者前期在基于振动信号处理的结构损伤检测研究中，以振动时域响应相关性分析为理论基础提出了一种称为内积向量(inner product vector，IPV)的损伤指标及对应的损伤检测方法[1]，通过框架结构的刚度下降损伤、蜂窝夹层复合材料梁的脱粘损伤、航空壁板的螺栓松动损伤等实验验证了方法的有效性[27]，研究了环境激励频带以及测试响应类型对检测方法的影响[28]，并结合数据融合技术提升了方法对微小损伤的检测精度[29]。研究表明，内积向量与结构的模态振型有关，可直接通过时域响应内积进行计算，且在其计算过程中可自动剔除相关测量噪声的影响。然而，这些前期的研究仅利用了结构时域响应的部分相关性分析数据来构建损伤指标，也没有采用大量的损伤指标给出具有统计意义的检测结果。考虑到深度学习中的卷积神经网络可以从大量数据中提取深层次的特征信息，并充分利用结构各个测点时域响应的相关性分析数据，本文将一维的内积向量扩展到了二维的内积矩阵，进而结合深度学习中常用的二维卷积神经网络，提出基于内积矩阵及二维卷积神经网络的结构健康监测方法，并通过典型航空加筋壁板螺栓松动的监测实验验证方法的可行性及有效性。
1 理论基础
本文以振动时域响应的相关性分析为基础，获取表征结构健康状态的原始特征信息，即内积矩阵，进而结合二维卷积神经网络的深层次特征提取功能，建立相应的结构健康监测方法。因此，这里首先介绍内积矩阵与二维卷积神经网络的基本概念与理论。
1.1 内积矩阵
假设可获得结构n个测点的时域响应
x1(t), x2(t),⋯,xn(t) ，取其中测点l的响应xl(t) 为参考响应，内积向量为：{\boldsymbol{R}}=\left\{ {{R_{1l}}(0),{R_{2l}}(0), \cdots ,{R_{nl}}(0)} \right\} (1) 式中，
{R_{kl}}(0) 表示响应{x_k}(t) (k=1, 2, ···, n)与响应{x_l}(t) 的互相关函数在时间延迟\tau =0 时的值，根据互相关函数的定义可知：{R_{kl}}(0)= < {x_k}(t),{x_l}(t) > (2) 式中：
< \,,\, > 表示内积运算符。研究表明，在带通白噪声激励下内积向量是结构各阶模态振型的加权叠加，且各阶模态的加权系数与结构的模态参数有关[1, 27-28]。对于一般的环境激励谱，可视为若干个不同频带范围的带通白噪声的组合谱，根据线性系统的叠加原理可知，在环境激励下内积向量仍是结构各阶模态振型的加权叠加，同时各阶模态的加权系数也与结构的模态参数有关。通常，结构物理参数的变化(例如结构损伤导致的局部刚度下降)会体现在相关模态振型的突变上，因此内积向量也会因结构局部损伤而发生突变，即可以利用内积向量作为结构损伤指标来进行结构健康监测。可以看出，内积向量是一个典型的一维向量，且只包含了结构各测点时域响应的部分内积计算数据，而深度学习中常用的二维卷积神经网络的输入是一个二维矩阵，为了采用内积向量作为二维卷积神经网络的输入，并充分利用结构各测点时域响应的所有内积计算数据，可将内积向量扩展到内积矩阵。从内积向量的定义式可以看出，内积向量仅采用某一个测点l的响应
{x_l}(t) 作为参考响应来与其他测点响应进行内积运算，若参考测点l的取值也分别设为各个测点，即l=1, 2, ···, n，则可获得内积矩阵：{\boldsymbol{M}}=\left[ {\begin{array}{*{20}{c}} {{R_{11}}(0)}&{{R_{21}}(0)}& \cdots &{{R_{n1}}(0)} \\ {{R_{12}}(0)}&{{R_{22}}(0)}& \cdots &{{R_{n2}}(0)} \\ \vdots & \vdots & \ddots & \vdots \\ {{R_{1n}}(0)}&{{R_{2n}}(0)}& \cdots &{{R_{nn}}(0)} \end{array}} \right] (3) 结合内积向量的定义式，从内积矩阵的定义式可以看出，内积矩阵其实就是将参考响应测点分别设置为不同测点的多个内积向量依次排列组成的矩阵，因此内积矩阵也可以作为结构特征参数来进行结构健康监测。
1.2 二维卷积神经网络
二维卷积神经网络是深度学习中最常用的一种卷积神经网络，可以从二维图像中提取数据特征，其网络结构主要包括用于提取数据特征的卷积层(convolution layer)、避免训练过程梯度消失问题的批归一化层(batch normalization layer)、对数据进行降采样的池化层(pooling layer)、用于过渡的拉直层(flatten layer)、用于整合分类信息的全连接层(fully connected layer)以及用于网络输出的分类层(classification layer)等[13]。
在建立神经网络结构之后，需选取一个合适的损失函数(loss function)来训练网络，损失函数是用于评估模型预测值与真实值不一致程度的函数，对于不同的问题应选择不同的损失函数。结构健康监测往往可以抽象为分类问题，而针对分类问题，目前最常用的损失函数为交叉熵，其定义如下[21, 23]：
J(\theta )= - \frac{1}{m}\left[ {\sum\limits_{i=1}^m {\sum\limits_{j=1}^k {p({x_{ij}}){\rm{lg}}(q(\theta ,{x_{ij}}))} } } \right] (4) 式中：m为样本数量；k为分类的类别数量；
p({x_{ij}}) 是样本{x_i} 为第j类的真实概率；q(\theta ,{x_{ij}}) 为模型参数\theta 时将样本{x_i} 预测为第j类的概率。2 方法原理
二维卷积神经网络通常用于处理图片信息，将图片每一个像素点的颜色信息作为特征，针对每一个图片构建一个数值矩阵，并以数值矩阵作为深度神经网络的输入。考虑到表征结构健康状态特征的内积矩阵也是数值矩阵，且与二维图片像素颜色信息构成的数据矩阵有着相同的形式，则可将内积矩阵作为二维卷积神经网络的输入来构建深度神经网络，以实现基于内积矩阵及卷积神经网络的结构健康监测。
基于深度学习的结构健康监测方法与传统的基于机器学习的结构健康监测方法类似，通常均包含2个关键的步骤，即标签数据库的构建以及网络模型的设计。标签数据库是指用于训练、验证、测试模型的输入输出数据，通常由一组特征数据及其对应的结构状态标签构成。网络模型是指用于描述输入-输出关系的复杂非线性函数，在结构健康监测中，网络的输入为可测量的结构特征参数，网络的输出为结构健康状态标签。
结合作者前期研究以及二维卷积神经网络对输入数据的要求，本文以内积矩阵为网络输入数据。考虑到深度学习神经网络需要大量的带标签数据来训练模型，本文利用结构上多个测点的时域响应，并通过数据分组来构建标签数据库，具体实施过程如图1所示。将结构各个测点的时域振动响应信号分割为若干个数据子集，每个数据子集均包含了各个响应测点在同一时间段的振动响应信号；利用每一个数据子集内的所有响应信号，按照式(3)计算内积矩阵，即可获得该数据子集对应的内积矩阵；针对若干个数据子集，可以获得若干个内积矩阵，这些内积矩阵就构成了当前结构健康状态下的标签数据库。
![]()
图 1 结构健康监测标签数据库的构建Figure 1. Construction of the labelled database for structural health monitoring根据图像识别研究中二维卷积神经网络的基本结构，图2给出了本文采用的二维卷积神经网络结构示意图。输入层之后连接若干个卷积层，以逐层提取输入数据中所包含的结构健康特征信息；卷积层之后连接一个批归一化层及一个池化层，以提升网络训练效率并防止过拟合；池化层之后连接一个拉直层，以实现二维数据向一维数据的转变，用于后续的分类问题；拉直层之后连接若干个全连接层，以逐步整合前述层中具有类别区分性的局部信息；最后为分类层，以获得各个分类的概率，即给出结构的健康状态。
![]()
图 2 深度卷积神经网络结构示意图Figure 2. Schematic diagram of the deep convolutional neural network architecture本文方法的具体流程如图3所示，即：利用图1所示的方法，针对每一种结构健康状态，构建其内积矩阵集及其对应的健康状态标签集，获得样本数据库，并从中随机筛选出训练集、验证集以及测试集，按照图2所示的方法设计深度卷积神经网络模型，然后，利用训练集及验证集进行模型训练，最终通过测试集验证模型的识别准确率。
3 实验验证
加筋壁板是航空领域中常用的一种结构形式，传统的加筋壁板一般采用螺栓或铆钉等紧固件将型材连接在壁板上，以提升壁板结构的承载能力，而紧固件松动是导致壁板承载能力下降甚至引发安全事故的隐患，本节将采用加筋壁板结构的紧固件松动监测来验证本文方法在航空结构健康监测中的可行性及有效性。
实验采用常见的四边固支加筋壁板，如图4所示，加筋壁板由1块450 mm×350 mm×2 mm的铝板以及3根长度340 mm、截面宽度25 mm、壁厚2 mm的等边角铝组成，每根角铝与铝板均用11个M5螺栓连接，加筋壁板四边由宽度为50 mm、厚度为20 mm、长度为450 mm或350 mm的8块钢制夹板加持，以模拟四边固支边界条件。
为模拟航空结构所受的激励形式，本文采用某飞机振动环境谱作为激励，并采用加速度响应来构建内积矩阵，实验布置及现场照片如图5所示。在m+p VibControl振动控制系统中设置振动环境谱，并驱动东菱ET-50振动台来激励四边固支壁板，最后利用Dewesoft SIRIUS数据采集系统采集布置在壁板上的15个PCB Piezoelectrics 333B30加速度传感器记录的加速度响应。实验中分别模拟了7种结构状态，包括完好状态(即所有螺栓都完全紧固)以及分别松开编号为1、10、14、19、28、33六个螺栓的6种损伤状态。针对每一种结构状态，采用20 kHz的采样频率进行加速度信号的采集，采集信号时长为50 s，即数据采样点数为106个。
3.1 标签数据库容量对识别结果的影响
在标签数据库的构建中，选取各加速度测点同一时间段的512个采样点组成一个数据子集，来计算一个内积矩阵。标签数据库容量对深度学习方法一般有着显著的影响，为了研究标签数据库容量(即每一种结构健康状态所包含的内积矩阵个数)对监测方法的影响，分别从每一种结构健康状态的总数据库中按顺序选取包含64个、128个、256个、512个及1024个内积矩阵的标签数据库来验证方法，则标签数据库的总容量(即模拟的7种结构健康状态下的内积矩阵个数)分别为64×7、128×7、256×7、512×7及1024×7，简称为数据库1~数据库5。考虑到内积矩阵是采用环境激励下的随机响应计算而得，总数据库中的内积矩阵相当于是随机生成的，因此这里构建的各个数据库中的样本数据也具有随机性。
考虑到本文研究用于输入的数据维数较小(15×15)且识别的结构健康状态数目不多(7种)，结合图2所示的深度卷积神经网络结构示意图，本文仅采用2层卷积层及1层全连接层，具体网络结构如表1所列。在神经网络训练及方法验证过程中，针对研究的六种不同容量的标签数据库，训练集、验证集及测试集所采用的数据量均为8∶1∶1。
表 1 采用的网络结构Table 1. The utilized network architecture层 类型 输入维数 输出维数 核数量 核尺寸 步长 填补 激活函数 1 Convolution (15,15,1) (15,15,16) 16 (3,3) 1 Same ReLU 2 Convolution (15,15,16) (15,15,32) 32 (3,3) 1 Same ReLU 3 Batch Normalization (15,15,32) (15,15,32) / / / / / 4 Max Pooling (15,15,32) (7,7,32) / (2,2) 2 / / 5 Flatten (7,7,32) (1568) / / / / / 6 Fully Connected (1568) (32) / / / / / 7 Softmax (32) (7) / / / / / 图6~图10分别给出了利用数据库1~数据库5的网络训练过程的损失函数与识别准确率的变化曲线。从图中可以明显看出，随着数据库容量增大，训练收敛速度加快、损失函数数值减小、识别准确率提高，且训练集与验证集的差异越来越小。
为了进一步说明网络在测试集上的识别准确率，表2列出了分别利用数据库1~数据库5进行网络训练的最终损失函数值及识别准确率。可以看出，当数据容量很小时，由于样本数量不足，识别准确率很低，而当每一种结构健康状态所包含的内积矩阵个数为1024时，网络在训练集、验证集以及测试集上的识别准确率均大于97%，这表明当数据库容量足够时，本文方法具有很高的识别准确率。上述图6~图10以及表2出现的规律表明，样本容量较大时以内积矩阵作为网络输入可准确识别螺栓松动位置，这是因为内积矩阵的特征变化：一方面是由螺栓松动引起；另一方面是由相关测试噪声引起。根据一般测试噪声具有的随机特性，在神经网络训练过程中通常可通过增加样本数量来减缓测试噪声的影响，因此随着样本容量的增加，网络的识别准确率显著增加。
表 2 不同数据容量下网络的损失函数值及识别准确率Table 2. The loss value and accuracy for different datasets数据容量/个 64 128 256 512 1024 损失函数值 1.4027 1.0008 0.5805 0.2911 0.1977 准确率 训练集 0.4665 0.6746 0.8283 0.9480 0.9745 验证集 0.4444 0.6556 0.8389 0.9471 0.9735 测试集 0.4000 0.6222 0.8324 0.9413 0.9735 固定测试集准确率 0.4657 0.7129 0.8243 0.9514 0.9742 为了进一步对比不同数据容量下训练的模型的识别准确率，针对每一种健康状态，分别选取100个内积矩阵(不包含在上述数据库中)，组成用于验证模型准确率的固定测试集(即共包含100×7个内积矩阵)，表2的最后一行列出了各个网络在固定测试集上的识别准确率。可以看出，固定测试集的识别准确率与训练集、验证集以及测试集上的识别准确率并无显著差异。
3.2 测点数量对识别结果的影响
在结构健康监测中，通常难以获得很多测点的测试数据，本节将研究测点数量对网络识别结果的影响。考虑到15个测点情况下，标签数据库容量为1024个时识别准确率较高，本节后续的研究中的数据容量均为1024个。针对图5(a)中的测点布置，分别采用8个测点、4个测点的加速度响应进行螺栓松动识别。按照测点尽可能均布的原则，针对8个测点，选取(1)、(3)、(5)、(7)、(9)、(11)、(13)、(15)号测点；针对4个测点，选取(3)、(7)、(9)、(13)号测点。
采用同样的网络结构以及标签数据库容量进行网络训练，结果发现：当测点数量为8时，网络识别准确率下降到90%以下，当测点数量为4时，网络识别准确率下降到80%以下。分析出现这一情况的原因，主要是由于测点数量降低，在其它参数不变的情况下，导致包含结构健康信息的原始数据量下降，网络难以从不足的信息中提取结构健康特征。在测点数量不足的情况下，通常可以从单个测点获取更多的数据来提升特征信息量，基于此，本节将上节计算内积矩阵所采用的512个加速度采样点逐步增加到1024个、2048个、4096个、8192个，以研究测点数量对网络识别准确率的影响，表3~表5分别给出了15个、8个以及4个测点数量下网络的最终损失函数值及识别准确率。
表 3 15个测点下网络的损失函数值及识别准确率Table 3. The loss value and accuracy of the network by 15 measurement points计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 损失函数值 0.1977 0.1437 0.0762 0.0508 0.0535 准确率 训练集 0.9745 0.9829 0.9956 0.9976 0.9976 验证集 0.9735 0.9847 0.9930 0.9958 0.9972 测试集 0.9735 0.9847 0.9958 0.9972 0.9972 表 4 8个测点下网络的损失函数值及识别准确率Table 4. The loss value and accuracy of the network by 8 measurement points计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 损失函数值 0.4155 0.2571 0.1574 0.1064 0.0741 准确率 训练集 0.8849 0.9452 0.9775 0.9908 0.9969 验证集 0.8703 0.9386 0.9665 0.9847 0.9986 测试集 0.8954 0.9456 0.9721 0.9861 0.9944 表 5 4个测点下网络的损失函数值及识别准确率Table 5. The loss value and accuracy of the network by 4 measurement points计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 损失函数值 0.7573 0.5631 0.3765 0.2136 0.1444 准确率 训练集 0.7573 0.8214 0.8851 0.9480 0.9817 验证集 0.7406 0.8257 0.8884 0.9568 0.9833 测试集 0.7838 0.8257 0.8842 0.9568 0.9847 当计算内积矩阵的加速度采样点数从512个增加到8192个时，从表3~表5可以看出：当采用15个测点时，准确率略有提高(从97%增加到99%)；当采用8个测点时，准确率有明显提高(从小于90%增加到99%)；当采用4个测点时，准确率显著提高(从小于80%增加到98%)。为了说明加速度采样点个数以及测点数量对计算耗时的影响，表6给出了表3~表5所有情况的计算耗时(含构建数据库耗时及模型训练耗时2部分)，可以看出：1)构建数据库的耗时随着加速度采样点或是测点数量的增加而增加，这是因为加速度采样点越多、测点数量越多，进行内积运算的数据量越大，因而耗时越多；2)模型训练的耗时随着加速度采样点或是测点数量的增加而减小，这是因为加速度采样点越多、测点数量越多，提取的结构特征信息越显著，网络训练越容易收敛，因而耗时越少；3)综合构建数据库及模型训练两部分耗时，单纯增加加速度响应点个数或是减少测点数量对整个计算耗时并没有显著影响。上述分析结果表明，本文方法即便是在测点数量较少的情况下，合理增加计算内积矩阵的加速度采样点个数可显著提升网络的识别准确率，且整个计算耗时并没有显著变化。
表 6 不同情况下的计算耗时Table 6. Computational time consuming for different cases计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 15测点 构建数据库 4.706 5.830 8.520 14.228 23.823 模型训练 68.306 55.073 52.737 38.108 37.577 8测点 构建数据库 2.113 2.764 2.798 2.978 3.471 模型训练 73.251 61.583 59.066 45.437 42.589 4测点 构建数据库 1.186 1.509 1.556 1.624 1.642 模型训练 73.536 69.565 69.918 47.164 45.935 注：计算耗时单位为秒，采用的计算机为：CPU，Intel(R) Xeon(R) E-2236 3.4 GHz；内存，32 GB；显卡，NVIDIA Quadro P1000 4 GB。 为了进一步说明测点位置对监测结果的影响，针对4个测点的情况，选取了远离螺栓松动位置的(2)、(8)、(10)、(11)号测点进行研究，表7给出了这种情况下网络的最终损失函数值及识别准确率。对比表7和表5可以看出，当测点数量不变仅改变测点位置时(且测点位置远离螺栓松动位置)，各种状态下网络的识别准确率并无显著差异，这说明本文方法受传感器位置的影响较小。
表 7 采用远离螺栓松动位置的4个测点时网络的损失函数值及识别准确率Table 7. The loss value and accuracy of the network by 4 measurement points located far from the loosed bolt计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 损失函数值 0.7200 0.6203 0.3606 0.2042 0.1533 准确率 训练集 0.7663 0.8308 0.9074 0.9660 0.9796 验证集 0.7406 0.8285 0.9010 0.9707 0.9763 测试集 0.7824 0.8187 0.8968 0.9540 0.9846 上述研究表明，利用结构上少量测点在环境激励下的时域加速度响应信号，并选取足够的加速度采样点来计算内积矩阵，进而以内积矩阵作为输入来构建深度卷积神经网络，可以有效地识别典型航空加筋壁板的螺栓松动位置。
4 结论
通过将各个响应测点分别设置为参考点，构建了多个内积向量并将其组成矩阵，提出了内积矩阵的概念。然后，根据内积矩阵的定义以及深度学习神经网络训练对数据库的需求，针对完整的测试数据引入了数据分组策略，获得了多个数据子集，通过在每一个数据子集中进行内积矩阵计算，建立了包含内积矩阵与结构健康状态一一对应的标签数据库构建方法。进而以内积矩阵为输入、结构健康状态为输出，构建了包含卷积层、批归一化层、池化层、拉直层、全连接层以及分类层的深度卷积神经网络结构，提出了基于内积矩阵及深度学习的结构健康监测方法。
利用典型航空加筋壁板的螺栓松动监测实验验证了方法的可行性及有效性，结果表明：1)随着标签数据库容量的增大，网络训练收敛速度加快、损失函数数值减小、识别准确率提高；2)当每一种结构健康状态所包含的内积矩阵个数足够、且计算内积矩阵的加速度采样点个数充足时，即便是仅有少量测点的加速度响应数据，网络在训练集、验证集以及测试集上的识别准确率均可达到98%以上。
-
![]()
图 1 结构健康监测标签数据库的构建
Figure 1. Construction of the labelled database for structural health monitoring
![]()
图 2 深度卷积神经网络结构示意图
Figure 2. Schematic diagram of the deep convolutional neural network architecture
表 1 采用的网络结构
Table 1 The utilized network architecture
层 类型 输入维数 输出维数 核数量 核尺寸 步长 填补 激活函数 1 Convolution (15,15,1) (15,15,16) 16 (3,3) 1 Same ReLU 2 Convolution (15,15,16) (15,15,32) 32 (3,3) 1 Same ReLU 3 Batch Normalization (15,15,32) (15,15,32) / / / / / 4 Max Pooling (15,15,32) (7,7,32) / (2,2) 2 / / 5 Flatten (7,7,32) (1568) / / / / / 6 Fully Connected (1568) (32) / / / / / 7 Softmax (32) (7) / / / / / 
下载: 导出CSV
表 2 不同数据容量下网络的损失函数值及识别准确率
Table 2 The loss value and accuracy for different datasets
数据容量/个 64 128 256 512 1024 损失函数值 1.4027 1.0008 0.5805 0.2911 0.1977 准确率 训练集 0.4665 0.6746 0.8283 0.9480 0.9745 验证集 0.4444 0.6556 0.8389 0.9471 0.9735 测试集 0.4000 0.6222 0.8324 0.9413 0.9735 固定测试集准确率 0.4657 0.7129 0.8243 0.9514 0.9742
下载: 导出CSV
表 3 15个测点下网络的损失函数值及识别准确率
Table 3 The loss value and accuracy of the network by 15 measurement points
计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 损失函数值 0.1977 0.1437 0.0762 0.0508 0.0535 准确率 训练集 0.9745 0.9829 0.9956 0.9976 0.9976 验证集 0.9735 0.9847 0.9930 0.9958 0.9972 测试集 0.9735 0.9847 0.9958 0.9972 0.9972
下载: 导出CSV
表 4 8个测点下网络的损失函数值及识别准确率
Table 4 The loss value and accuracy of the network by 8 measurement points
计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 损失函数值 0.4155 0.2571 0.1574 0.1064 0.0741 准确率 训练集 0.8849 0.9452 0.9775 0.9908 0.9969 验证集 0.8703 0.9386 0.9665 0.9847 0.9986 测试集 0.8954 0.9456 0.9721 0.9861 0.9944
下载: 导出CSV
表 5 4个测点下网络的损失函数值及识别准确率
Table 5 The loss value and accuracy of the network by 4 measurement points
计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 损失函数值 0.7573 0.5631 0.3765 0.2136 0.1444 准确率 训练集 0.7573 0.8214 0.8851 0.9480 0.9817 验证集 0.7406 0.8257 0.8884 0.9568 0.9833 测试集 0.7838 0.8257 0.8842 0.9568 0.9847
下载: 导出CSV
表 6 不同情况下的计算耗时
Table 6 Computational time consuming for different cases
计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 15测点 构建数据库 4.706 5.830 8.520 14.228 23.823 模型训练 68.306 55.073 52.737 38.108 37.577 8测点 构建数据库 2.113 2.764 2.798 2.978 3.471 模型训练 73.251 61.583 59.066 45.437 42.589 4测点 构建数据库 1.186 1.509 1.556 1.624 1.642 模型训练 73.536 69.565 69.918 47.164 45.935 注：计算耗时单位为秒，采用的计算机为：CPU，Intel(R) Xeon(R) E-2236 3.4 GHz；内存，32 GB；显卡，NVIDIA Quadro P1000 4 GB。
下载: 导出CSV
表 7 采用远离螺栓松动位置的4个测点时网络的损失函数值及识别准确率
Table 7 The loss value and accuracy of the network by 4 measurement points located far from the loosed bolt
计算内积矩阵的
加速度采样点数/个512 1024 2048 4096 8192 损失函数值 0.7200 0.6203 0.3606 0.2042 0.1533 准确率 训练集 0.7663 0.8308 0.9074 0.9660 0.9796 验证集 0.7406 0.8285 0.9010 0.9707 0.9763 测试集 0.7824 0.8187 0.8968 0.9540 0.9846
下载: 导出CSV
-
[1] Yang Z C, Wang L, Wang H, et al. Damage detection in composite structures using vibration response under stochastic excitation [J]. Journal of Sound and Vibration, 2009, 325(4/5): 755 − 768. doi: 10.1016/j.jsv.2009.03.040
[2] 翁顺, 朱宏平. 基于有限元模型修正的土木结构损伤识别方法[J]. 工程力学, 2021, 38(3): 1 − 16. doi: 10.6052/j.issn.1000-4750.2020.06.ST02 Weng Shun, Zhu Hongping. Damage identification of civil structures based on finite element model updating [J]. Engineering Mechanics, 2021, 38(3): 1 − 16. (in Chinese) doi: 10.6052/j.issn.1000-4750.2020.06.ST02
[3] 侯博文, 李佳静, 高亮, 等. 基于脉冲激励下钢轨振动响应的扣件失效识别方法[J]. 工程力学, 2021, 38(2): 122 − 133. doi: 10.6052/j.issn.1000-4750.2020.04.0210 Hou Bowen, Li Jiajing, Gao Liang, et al. Failure identification method of fastening system based on rail response under pulse excitation [J]. Engineering Mechanics, 2021, 38(2): 122 − 133. (in Chinese) doi: 10.6052/j.issn.1000-4750.2020.04.0210
[4] Bull L A, Worden K, Dervilis N. Towards semi-supervised and probabilistic classification in structural health monitoring [J]. Mechanical Systems and Signal Processing, 2020, 140: 106653. doi: 10.1016/j.ymssp.2020.106653
[5] Sarmadi H, Karamodin A. A novel anomaly detection method based on adaptive Mahalanobis-squared distance and one-class kNN rule for structural health monitoring under environmental effects [J]. Mechanical Systems and Signal Processing, 2020, 140: 106495. doi: 10.1016/j.ymssp.2019.106495
[6] 李惠, 鲍跃全, 李顺龙, 等. 结构健康监测数据科学与工程[J]. 工程力学, 2015, 32(8): 1 − 7. doi: 10.6052/j.issn.1000-4750.2014.08.ST11 Li Hui, Bao Yuequan, Li Shunlong, et al. Data science and engineering for structural health monitoring [J]. Engineering Mechanics, 2015, 32(8): 1 − 7. (in Chinese) doi: 10.6052/j.issn.1000-4750.2014.08.ST11
[7] Bao Y Q, Chen Z C, Wei S Y, et al. The state of the art of data science and engineering in structural health monitoring [J]. Engineering, 2019, 5(2): 234 − 242. doi: 10.1016/j.eng.2018.11.027
[8] Goodfellow I, Bengio Y, Courville A. Deep learning [M]. USA: The MIT Press, 2016.
[9] 丁建立, 邹云开, 王静, 等. 基于深度学习的ADS-B异常数据检测模型[J]. 航空学报, 2019, 40(12): 323220. Ding Jianli, Zou Yunkai, Wang Jing, et al. ADS-B anomaly data detection model based on deep learning [J]. Acta Aeronautica et Astronautica Sinica, 2019, 40(12): 323220. (in Chinese)
[10] 陈海昕, 邓凯文, 李润泽. 机器学习技术在气动优化中的应用[J]. 航空学报, 2019, 40(1): 522480. Chen Haixin, Deng Kaiwen, Li Runze. Utilization of machine learning technology in aerodynamic optimization [J]. Acta Aeronautica et Astronautica Sinica, 2019, 40(1): 522480. (in Chinese)
[11] Zhao R, Yan R Q, Chen Z H, et al. Deep learning and its applications to machine health monitoring [J]. Mechanical Systems and Signal Processing, 2019, 115(1): 213 − 237.
[12] 杨娜, 张翀, 李天昊. 基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计[J]. 工程力学, 2021, 38(3): 27 − 39. doi: 10.6052/j.issn.1000-4750.2020.04.0263 Yang Na, Zhang Chong, Li Tianhao. Design of crack monitoring system for Chinese ancient wooden buildings based on UAV and CV [J]. Engineering Mechanics, 2021, 38(3): 27 − 39. (in Chinese) doi: 10.6052/j.issn.1000-4750.2020.04.0263
[13] Cha Y J, Choi W, Büyüköztürk O. Deep learning - based crack damage detection using convolutional neural networks [J]. Computer - Aided Civil and Infrastructure Engineering, 2017, 32(5): 361 − 378. doi: 10.1111/mice.12263
[14] Dorafshan S, Thomas R J, Maguire M. Comparison of deep convolutional neural networks and edge detectors for image-based crack detection in concrete [J]. Construction and Building Materials, 2018, 186(1): 1031 − 1045.
[15] Liu H, Zhang Y F. Image-driven structural steel damage condition assessment method using deep learning algorithm [J]. Measurement, 2019, 133(1): 168 − 181.
[16] Reddy A, Indragandhi V, Ravi L, et al. Detection of cracks and damage in wind turbine blades using artificial intelligence-based image analytics [J]. Measurement, 2019, 147(1): 106823.
[17] Yao Y, Yang Y, Wang Y P, et al. Artificial intelligence-based hull structural plate corrosion damage detection and recognition using convolutional neural network [J]. Applied Ocean Research, 2019, 90(1): 101823.
[18] Ren Y P, Huang J S, Hong Z Y, et al. Image-based concrete crack detection in tunnels using deep fully convolutional networks [J]. Construction and Building Materials, 2020, 234(1): 117367.
[19] Guo X J, Chen L, Shen C Q. Hierarchical adaptive deep convolution neural network and its application to bearing fault diagnosis [J]. Measurement, 2016, 93(1): 490 − 502.
[20] Jing L Y, Zhao M, Li P, et al. A convolutional neural network based feature learning and fault diagnosis method for the condition monitoring of gearbox [J]. Measurement, 2017, 111(1): 1 − 10.
[21] Chang Y H, Chen J L, Qu C, et al. Intelligent fault diagnosis of wind turbines via a deep learning network using parallel convolution layers with multi-scale kernels [J]. Renewable Energy, 2020, 153(1): 205 − 213.
[22] Chen L T, Xua G H, Zhang S C, et al. Health indicator construction of machinery based on end-to-end trainable convolution recurrent neural networks [J]. Journal of Manufacturing Systems, 2020, 54: 1 − 11. doi: 10.1016/j.jmsy.2019.11.008
[23] Lin Y Z, Nie Z H, Ma H W. Structural damage detection with automatic feature-extraction through deep learning [J]. Computer-Aided Civil and Infrastructure Engineering, 2017, 32(12): 1025 − 1046. doi: 10.1111/mice.12313
[24] Pathirage C S N, Li J, Li L, et al. Structural damage identification based on autoencoder neural networks and deep learning [J]. Engineering Structures, 2018, 172(1): 13 − 28.
[25] Pathirage C S N, Li J, Li L, et al. Development and application of a deep learning-based sparse autoencoder framework for structural damage identification [J]. Structural Health Monitoring, 2019, 18(1): 103 − 122. doi: 10.1177/1475921718800363
[26] Liu J X, Chen S H, Berges M, et al. Diagnosis algorithms for indirect structural health monitoring of a bridge model via dimensionality reduction [J]. Mechanical Systems and Signal Processing, 2020, 136(1): 106454.
[27] Wang L, Yang Z C, Waters T P. Structural damage detection using cross correlation functions of vibration response [J]. Journal of Sound and Vibration, 2010, 329(24): 5070 − 5086. doi: 10.1016/j.jsv.2010.06.020
[28] Wang L, Yang Z C. Effect of response type and excitation frequency range on the structural damage detection method using correlation functions of vibration responses [J]. Journal of Sound and Vibration, 2013, 332(4): 645 − 653. doi: 10.1016/j.jsv.2012.09.027
[29] 王慧, 王乐, 田润泽. 基于时域响应相关性分析及数据融合的结构损伤检测研究[J]. 工程力学, 2020, 37(9): 30 − 37, 111. doi: 10.6052/j.issn.1000-4750.2019.10.0588 Wang Hui, Wang Le, Tian Runze. Structural damage detection using correlation functions of time domain vibration responses and data fusion [J]. Engineering Mechanics, 2020, 37(9): 30 − 37, 111. (in Chinese) doi: 10.6052/j.issn.1000-4750.2019.10.0588
-
期刊类型引用(21)
1. 李万润, 赵文海, 李清, 杜永峰. 基于深度学习运动放大的风力机结构动力特性识别. 振动与冲击. 2025(14) 
百度学术
2. 刘玉红，杨永斌，徐昊. 基于移动车辆响应的曲线梁桥竖向和径向模态振型识别研究. 工程力学. 2025(05): 21-31 . 本站查看
3. 田鑫海，王乐. 基于增强内积矩阵的PMI泡沫夹层结构损伤检测. 工程力学. 2024(02): 244-256 . 本站查看
4. 江守燕，邓王涛，孙立国，杜成斌. 数据驱动的半无限介质裂纹识别模型研究. 力学学报. 2024(06): 1727-1739 . 百度学术
5. 袁程，熊青松，孔庆钊. 钢筋混凝土剪力墙抗震滞回性能的多元时序深度神经网络预测. 工程力学. 2024(06): 66-76 . 本站查看
6. 袁程，熊青松，秦晓明，熊海贝，孔庆钊. 对抗神经深度网络与信号重构技术对混凝土梁应力波损伤信号的模糊聚类. 工程力学. 2024(08): 47-55 . 本站查看
7. 史冬岩，王立夫，张博洋，李光亮. 基于Pyramid-Attention-U-Net深度学习模型的实时拓扑优化设计. 工程力学. 2024(11): 217-224 . 本站查看
8. 战庆亮，葛耀君，白春锦. 流场特征识别的无量纲时程深度学习方法. 工程力学. 2023(02): 17-24 . 本站查看
9. 魏佳恒，郭惠勇. 基于贝叶斯优化BiLSTM模型的输电塔损伤识别. 振动与冲击. 2023(01): 238-248 . 百度学术
10. 王慧，王乐，田鑫海. 基于相关函数矩阵及卷积神经网络的结构健康监测研究. 工程力学. 2023(05): 217-227 . 本站查看
11. 邵永军，杨超，龙志友，董是. 一种可解释人工智能桥结构健康监测方法. 科技通报. 2023(06): 57-62 . 百度学术
12. 王慧，王乐，郭宁. 基于振动信号及深度学习的结构健康监测实验教学设计. 实验技术与管理. 2023(06): 192-198 . 百度学术
13. 汤东婴，魏晓斌，孙正华，王若晨. 结构健康监测系统综述研究. 智能建筑与智慧城市. 2023(08): 6-11 . 百度学术
14. 杜荣华，朱胜亿，魏克湘，张文明，邹鸿翔. 交通环境能量采集及自供能交通设施健康状态监测研究进展. 仪器仪表学报. 2022(03): 3-23 . 百度学术
15. 朱前坤，崔德鹏，杜永峰. 基于网络摄像机的桥梁挠度非接触识别. 工程力学. 2022(06): 146-155 . 本站查看
16. 江坤，潘旦光，张喜臣，胡乃冬. 基于边界模态的结构密封胶损伤识别实验研究. 工程力学. 2022(S1): 350-355 . 本站查看
17. 岳清瑞，陆新征，许镇，田源，顾栋炼，郑哲，徐永嘉，费一凡，孙楚津，施钟淇. 基于“风险源+承灾体+减灾体”的城市安全表征“库-网-流-谱-法”理论框架. 工程力学. 2022(11): 52-62 . 本站查看
18. 张敏照，王乐，田鑫海. 基于内积矩阵及卷积自编码器的螺栓松动状态监测. 工程力学. 2022(12): 222-231 . 本站查看
19. 张艳斌. 考虑环境因素影响的结构健康监测损伤识别. 工程与建设. 2022(06): 1713-1715+1738 . 百度学术
20. 郭宁，王乐，曹善成，徐超. 基于固有频率向量的结构健康监测实验教学设计. 实验技术与管理. 2022(05): 134-137 . 百度学术
27. 梁韬，叶涛萍，李守文，方佳畅，黄天立. 结合多通道MTF和CNN的框架结构损伤识别方法. 振动.测试与诊断. 2024(02): 217-224+404-405 . 百度学术
其他类型引用(9)
