今天分享一篇课题组2017年12月发表于期刊Computer-Aided Civil and Infrastructure Engineering (CACAIE)的论文，题为Structural Damage Detection with Automatic Feature-Extraction through Deep Learning, 文章的作者是来自暨南大学的林逸洲博士、聂振华教授与马宏伟教授。
该论文作为“人工智能技术应用于结构损伤检测问题”这一话题的早期工作之一，探索了无人工特征工程协助、仅依赖原始时序信号条件下数据驱动的结构损伤特征提取问题，在取得良好的损伤识别效果的同时，深入讨论其背后的物理意义。该工作发表后受到了广泛关注，为发表当期的ESI热点论文，谷歌学术显示本文至今已被引369次。
大桥等重要基础设施在服役期间不可避免地会受到腐蚀、性能退化等问题，已经严重威胁到城市生命线工程的安全运营，因此通过在桥梁上布置传感器，实时监控其当前安全状态是一项非常重要的任务。传统解决方案中，“动力指纹”法通过计算固有频率、振型等动力学参数并研究它们与结构损伤之间的联系，而“数据驱动”法则通过统计学与信号处理得到结构响应的数值特征，进而考察数据中的“异常”状态。这两类思路中的结构损伤指标均依赖于研究者的知识与经验，由结构的物理建模或是统计学知识中得来。然而在实际工程实践中，工程环境往往复杂多变，充斥着许多理论与实验室中难以考虑的因素，具有较强的不确定性，限制了传统方法在工程实践中的应用。在这样的背景下，我们课题组在2017年提出了另一种思路：既然仅靠人类知识，从理论上设计鲁棒性强的结构损伤特征存在困难，那么从实际测得的原始数据中挖掘信息是否可行呢？毕竟原始信号中包含了一切现实世界中各项因素的信息，如果能有一种手段对其加以利用，从中提取性能优良的特征，就能克服上述问题。另一方面，深度学习技术展现出了从数据中自动提取有效特征的强大能力，近年来在各种应用中都取得了惊人的成绩。“能否利用这种能力从结构响应数据中自动提取对判断结构损伤有用的信息？”本文就此问题展开了研究。尽管未能彻底实现这一想法，但本项工作证实了利用深度学习算法从结构原始响应信号中提取结构损伤特征的可行性，同时也解析了其背后的物理意义，为未来工作奠定了良好基础。
本文使用了如图1所示的简支梁有限元模型作为研究对象，由该模型生成大量由[时域加速度响应，损伤位置]形成的数据，并按图2所示思路进行数据增广，扩充深层神经网络所需训练数据。
图1 简支梁有限元模型
图2数据增广过程
为了适配大量时域信号数据的特征提取任务，本文设计了如下图所示的卷积神经网络来处理时域响应：网络底层由一系列堆叠的卷积层形成，逐层形成特征谱；深层则选用全连接层构成分类器，最终输出损伤位置的概率标签。随后，网络的训练遵循图4所述的流程进行，训练完成后的网络就可以对未知损伤位置的结果数据进行诊断。
图3 卷积神经网络
图4神经网络训练流程
为了测试本方法的特征提取能力，需要一种传统结构损伤特征作为对比基准，本文选取了小波包分量能量作为对比对象。由于结构特征不能直接对比，本文按图5中所示思路，将深层神经网络的卷积层看作特征提取器，而全连接层看作分类器；对比两者时，保持分类器部分不变，而只替换特征提取器部分。图6中1、3工况为神经网络准确率，而2、4工况为小波包能量的表现，从中可以看到无论是在无噪声情况下还是高噪声水平下，由卷积层自动提取的结构特征都有着更高的损伤定位准确率，尤其是在高噪声条件下，本文方法的优势更为明显。在多损伤识别任务中，深层神经网络同样表现出了优秀的成绩，如图7所示。
图5特征性能对比思路
表1 单损伤情况测试工况
图7 多损伤情况下本方法损伤定位案例
尽管本文方法展现出了显著的优势，但深层神经网络在这一过程中扮演了“黑箱子”的角色，有一个重要的疑问就是“网络内部的特征提取过程是怎样进行的？”为了解答这个问题，本文对神经网络的底层、中层和顶层分别进行了特征可视化，图8、9、10分别展示了网络的底层、中层和顶层所习得的结构特征在频域下的图形，可以观察到神经网络似乎学习到了一个个带通滤波器，图中峰值位置均与结构固有频率相符，且随着网络层数的增多，学习到的滤波器愈发清晰，带宽与毛刺都显著减少。在神经最深处，不同测点处峰值的相对大小之间具有固定的联系，将每个测点的特征图中峰值取出，单独作图，可以观察到与结构的固有模特极其相似，如图9中所示。总结来说，深层神经网络学习到的特征体现了一种层级化的结构：特征从神经网络的底层到顶层，逐渐变得从低级到高级，从模糊到清晰，从浅显到抽象，最终独立自主地学习到了结构模态等物理概念。
图8 卷积神经网络底层特征可视化
图9 卷积神经网络中层特征可视化
图10 卷积神经网络顶层特征可视化
图11顶层卷积层所学特征中的振动模式与真实第三阶振型的对比
1) 卷积神经网络在单损伤定位与多损伤识别任务中都表现出了极高的性能与较强的噪声鲁棒性。通过与小波包分量能量这一人工设计的特征进行对比，可以看出卷积神经网络优良的性能与噪声鲁棒性。且在多损伤识别的结果也直接显示了其诊断能力。2) 卷积神经网络能仅依靠原始时域数据独立地从学习到多层级的抽象特征，并学习到了结构的物理概念。特征可视化的结果展示了神经网络内部首先学习到了粗糙的带通滤波器；随着网络层数的加深，这些滤波器中频段带宽逐渐变窄，毛刺变少，也就说是这些滤波器的性能在逐渐加强；进而不同通道之间产生联系，学习到了结构模态这一物理概念；更进一步，最深层的卷积层出出现了模态的组合这一抽象概念。3) 使用神经网络从数据中学习特征这一框架有着良好的可扩展性。本文方法在几乎不做改动的情况下，从单损伤定位任务转移到多损伤识别任务。这是由于神经网络具有强大的特征学习能力，仅需确定好需要映射的两种变量，而无需关心映射本身的构建。
本文DOI：https://doi.org/10.1111/mice.12313
图文来源：马宏伟 聂振华教授课题组微信公众号
