0.   引　　言

输送带运输机跑偏事故会对企业造成巨大经济损失，严重时甚至会造成人员伤亡。及时准确地检测出传送带跑偏情况并采取有效措施，可以有效避免事故发生，对安全生产意义重大^[1]。现有的传送带跑偏检测主要依靠人工检查及传统接触式检测方法，存在成本高、不稳定、易错检或漏检等问题，对于长距离、复杂环境下的工业输送带场景往往并不适用^[2]。随着工业中摄像头的普及，工业输送带图像数据量日益增大，兴起了对运输机输送带图像数据相关应用技术的研究，其中包括利用机器视觉技术实现对传送带跑偏检测，其优点是可以对传送带边缘进行连续的检测^[3]。

基于机器视觉检测技术的传统跑偏检测算法主要根据为当输送带跑偏时，图像灰度值会在输送带边缘附近发生变化，并采用基于微分的方法进行边缘的提取^[4-5]。此种方法虽然有检测速度快、实现方便等优点，但是在合适的梯度阈值选取方面比较困难，结果受到阈值选取的影响较大。为了进一步提高基于机器视觉技术的检测精度，随着大数据和人工智能技术的发展，基于深度学习的检测技术开始应用于传送带跑偏检测方面。LIU等^[6]分别将全卷积神经网络（Fully Convolutional Networks，FCN^[7]），深度实验室网络模型DeepLab^[8]，整体嵌套边缘检测网络（Holistically-Nested Edge Detection，HED^[9]）应用于传送带跑偏检测任务。POMA等^[10]在HED网络的基础上压缩了模型结构并简化了最后的网络输出，但以上网络仍存在以下不足：① 预测的边缘效果较粗糙且处理速度较慢；② 由于卷积操作本身仅进行局部运算，很难构建像素间长距离的依赖关系；③ 目前应用于输送带跑偏检测的网络模型的检测速度没有达到25帧/s的实时性要求。

Transformer^[11]结构不受限于局部运算，能够建模全局上下文信息，在自然语言处理任务上有着出色的表现。DOSOVITSKIY等^[12]提出了视觉Transformer（Vision Transformer，ViT），该网络首次将Transformer结构应用于图像任务中，在大规模的数据上进行训练后，在精度上超越了基于卷积神经网络（Convolutional Neural Network，CNN）的方法，但ViT结构输出特征图的分辨率低且单一，会导致局部信息的丢失；TOUVRON等^[13]提出了数据高效的图像变换器（Data-Efficient image Transformer，DEiT），这表明了Transformer结构能在中等规模的数据集上进行训练，并取得了较好的效果；LIU等^[14]提出了Swin变换器（Swin Transformer，SwinT）结构，该网络在图像分类、目标检测及语义分割中均取得了当时学术界深度学习模型中最好的效果。ViT、DEiT、SwinT的出现证明了Transformer结构在机器视觉任务中的应用潜力，但与纯卷积神经网络相比，Transformer结构往往参数量大、计算复杂度较高。

结合Transformer结构的优势，针对卷积神经网络限于局部运算不能有效获得长距离依赖关系的问题，本文提出了一种全局与局部信息相互融合的双流输送带跑偏检测网络模型（Dual-Flow Transformer Network，DFTNet），通过将Transformer和CNN网络进行融合，构建了双流解码器−编码器结构，提高了网络模型对全局、长距离信息感知能力，和其他基于CNN的方法相比，DFTNet能在较少的参数下，实现对输送带边缘的实时性准确检测。

1.   双流融合网络的搭建

1.1   DFTNet双流网络总体结构

为了增强网络上下文信息感知能力以及保留丰富的细节信息，针对输送带边缘模糊、背景类别复杂、干扰信息较多等特点，设计了基于Transformer和CNN双流融合网络的输送带边缘检测方法。通过设计CNN和Transformer特征融合模块，形成双流编码器–解码器结构，可以更好地融合全局上下文信息，避免了Transformer结构需要在大规模数据集上预训练的缺点，同时可以灵活调节网络结构，如图1所示。其中，C为输送带特征图像的通道数，H和W分别为输送带特征图像的高度和宽度。

图  1  双流融合网络整体网络结构

Figure  1.  Overall network structure diagram of dual-flow fusion network

下载: 全尺寸图片 幻灯片

编码器由Transformer基础模块与CNN基础模块2个分支构成。在Transformer基础模块中，输送带图像首先通过Patch分割模块层将输送带特征图像转换为相互不重叠的4×4的序列小块，同时特征通道数变成了4×4×3=48。之后通过线性嵌入模块层，将特征图像转换成任意维度，统一表示为C，通过第一个SwinT基础模块后生成大小为H/4×W/4×32C的特征图像，然后经过一个Patch合并模块层和第2个SwinT基础模块后生成H/8×W/8×64C的特征图像。编码器中CNN基础模块包含一个Stem层以及2个下采样层，其输出特征图的大小为H×W×8C；经过Stem层后图像经过2个下采样操作，且每次下采样后特征通道数加倍，最后共产生H/2×W/2×16C、H/4×W/4×32C等2个不同的特征图像输入到融合模块解码器当中。

解码器由3个上采样组成，每个上采样由一个可以使图像特征通道数量减半的卷积操作构成。特征图像在经历每个上采样步骤之后，通过将提取到的上下文特征与编码器的多尺度特征融合在一起，进而抵消由于CNN卷积操作带来的空间信息的损失。经过3个上采样操作之后，图像的分辨率恢复到H×W×2，最后通过线性映射模块将这些上采样特征进行像素级的分割预测，最终实现对输送带边缘的准确检测。

1.2   SwinT基础模块

编码器中的SwinT基础模块主要由基于2个连续的多头自注意力模块构成，其主要基于窗口的多头自注意力机制（Window Based Multi-head Self Attention，W-MSA），有别于卷积的多头注意力机制（Multi-head Self Attention，MSA），其核心模块如图2所示。每个SwinT模块均包含2个连续的多头自注意力模块，每个模块均由层归一化（Layer Normalization，LN）、多头自注意力机制、残差连接以及多层感知机（Multi-Layer Perceptron，MLP）组成，多层感知机由两层线性层及GELU（Gaussian Error Linear Unit）激活函数组成。其中第一个模块应用了基于窗口的多头自注意力机制，第二个模块在W-MSA基础上加入了Shift-Window操作形成基于滑动窗口的多头自注意力机制SW-MSA。

图  2  SwinT 基础模块

Figure  2.  SwinT basic block

下载: 全尺寸图片 幻灯片

SwinT模块中基于窗口的自注意力机制降低了常用自注意力机制的计算复杂度，整体计算过程如式(1)—式(4)，其中${z}^{l}$表示第l个模块经MLP和残差连接后输出的特征，${\hat {z}}^{l}$表示经W-MSA或者SW-MSA和残差连接后输出的特征，${\hat {z}}^{l-1}$、${\hat {z}}^{l+1}$分别代表SwinT输出模块的输入与输出。

这里${\hat {z}}^{l}$和${z}^{l}$分别作为SW-MSA模块和MLP模块的输出。参照文献[15-16]，在计算多头自注意力机制时，每个head的计算方式如下：

其中${\boldsymbol Q},{\boldsymbol K},{\boldsymbol V}\in {\mathbb{R}}^{{M}^{2}\times d}$分别代表Query、Key、Value矩阵，${M}^{2}$和$d$分别代表一个窗口里图像块数量和Query或Key的特征维度数，$B$的值来源于偏置矩阵$\hat{{\boldsymbol B}}\in {\mathbb{R}}^{(2M-1)\times (2M+1)}$。

1.3   CNN基础模块

编码器中的CNN基础模块主要由一个词干提取stem模块与2个下采样操作构成，如图3所示。stem模块由2个大小为3×3、步幅为1、填充数为1的卷积、批量标准化和修正线性单元（Rectified Linear Unit，ReLU）激活函数组成，通过stem模块后，输入特征图像的大小变为H×W×8C，后经过2个由大小为2×2、步幅为2的卷积操作构成的下采样层后分别输出大小为H/2×W/2×16C、H/4×W/4×32C的特征图像。

图  3  CNN基础模块

Figure  3.  CNN basic block

下载: 全尺寸图片 幻灯片

1.4   融合模块

解码器中的融合模块主要由双线性差值与1×1卷积组成的上采样操作、逐元素求和、线性映射模块组成。c₁和p₂通过逐元素求和操作进行融合，输出特征图像大小不变，之后通过连续3次上采样操作分别与c₂、p₁、p₀进行融合，其中，c₁、c₂、p₂、p₁、p₀代表图1中不同阶段输出的结果。特征图像通过上采样操作后，特征图像通道数量减半，输出特征图像尺寸按照输入图像的最大尺寸作为输出，最终通过线性映射模块后输出H×W×2的输送带边缘图像，具体结构如图4所示。本文提出的融合CNN及Transformer结构的模块能够有效利用CNN和Transformer的各自优势分别提取局部和全局特征，并通过通道加法和上采样操作，达到交互融合的状态，既构建了输送带特征图像上下文依赖关系，又丰富了局部细节信息，增强了网络提取特征的能力。

图  4  融合模块

Figure  4.  Fusion module

下载: 全尺寸图片 幻灯片

1.5   损失函数

本网络使用的损失函数为交叉熵损失函数^[17]，该损失函数用于描述检测实际预测值与标签值两个概率之间的关系。当交叉熵损失函数的值越小时，表明预测的结果越接近于目标结果。具体计算公式如下：

其中，x为样本；class为类别；j为样本x的标签值，正类为1，负类为0。

1.6   输送带跑偏检测算法

通过计算预测结果图中边缘中心线相对标签图中心线的偏移量，当偏移量波动超出某一阈值，视作传送带跑偏。偏移量具体计算流程按如下规则进行。假设X_as为后处理结果中左侧边缘起始点横坐标，X_bs为后处理结果中右侧边缘起始点横坐标，X_ae为后处理结果中左侧边缘终点横坐标，X_be为后处理结果中右侧边缘终点横坐标，X_s为两侧起始点横坐标的平均值，X_e为两侧起始点横坐标的平均值，具体示意如图5所示。

图  5  输送带跑偏检测示意

Figure  5.  Schematic diagram of belt deviation detection

下载: 全尺寸图片 幻灯片

基于以上描述有如下关系式：

传送带偏移值计算公式：

其中${\bar X }_{{\mathrm{s}}}$和$\bar{ X }_{{\mathrm{e}}}$分别为标签中左右边缘起始点和终点横坐标的平均值，当$\delta$波动大于给定阈值时认为传送带已有跑偏迹象。

2.   评价指标

本文网络模型的最终目的是在输送带数据集中检测出测试集中所有的输送带边缘，以输送带跑偏检测为例，GT（Ground Truth）代表真实标签；TP（True Positive）表示标签为输送带边缘，预测为输送带边缘；TN（True Negative）表示标签为输送带边缘，预测为其他；FP（False Positive）表示标签为其他，预测为输送带边缘；FN（False Negative）表示标签为其他，预测为其他。指标混淆矩阵见表1。

表  1  指标混淆矩阵

Table  1.  Indicator confusion matrix

真实结果	预测结果
	真实标签=True	真实标签=False
预测=True	真阳性TP	假阴性FP
预测=False	假阳性FN	真阴性TN

下载: 导出CSV 

| 显示表格

基于以上的概念，精确度（Precision）表示检测类别是输送带边缘并且标签也是输送带边缘的部分占所有检测器检测为输送带边缘的比例，也叫查准率。平均检测精度mAP可表示为

其中，r₁，r₂，...，r_m是按升序排列的Precison插值段第一个插值处对应的Recall值，${P}_{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}$为插值操作。其中，召回率也叫查全率，表示检测到的是输送带边缘且实际标签也是输送带边缘的数量占检测器检测正确的比例，召回率能衡量检测器检测出所需类别的能力。用${R}'$代表召回率，则可表示为

计算得到召回率和精确率之后，可以根据召回率和精确率计算调和平均值，其计算数学公式为

准确度（Accuracy）表示为

均交并比(Mean Intersection over Union，MloU)：为语义分割的标准度量。其计算2个集合的交并比， 在语义分割的问题中，这两个集合为真实值（ground truth）和预测值（predicted segmentation）。计算公式如下：$i$为真实值，$j$为预测值，${P}_{ij}$为预测值j预测为真实值i的概率。

式（16）等价于：

3.   试验与分析

3.1   数据集采集与制作

本文试验使用的数据集是从实际工业场景中摄像仪所采集到多场景的输送带录像中截取相关输送带图片，共包含五种不同场景下多角度、不同位置的输送带运行状态，并制作相关数据集，具体如图6所示。

图  6  5种工业场景下的输送带图片数据集

Figure  6.  Dataset of belt images in five industrial scenarios

下载: 全尺寸图片 幻灯片

由于采集到的实际工业环境中的输送带图像大小不统一，且工业场景中固定机位的输送带图像角度单一，截取的图像帧与帧之间差距不大。因此在采集完数据后，通过扩大训练数据量、翻转操作来增加数据集的多样性和泛化性，以达到数据增强的目的，进而使检测模型具有更强的鲁棒性，其中部分数据预处理后的样例如图7所示。

图  7  图片预处理后相应结果

Figure  7.  The corresponding results after image preprocessing

下载: 全尺寸图片 幻灯片

根据所采集到的图像，在经过数据预处理后，最终形成了包含5个场景的图片训练集1 476张、测试集369张以及对应的标签集，数据集总体情况见表2。训练集和测试集图像格式为jpg格式，为彩色三通道图像；标签集图像格式为png，为单通道图像，保留了标签真值和背景信息方便后续图像处理。

表  2  本文所制作的数据集介绍

Table  2.  Introduction to the datasets produced in this paper 张

数据集	场景1	场景2	场景3	场景4	场景5	合计
训练集	744	141	135	324	132	1476
训练标签集	744	141	135	324	132	1476
测试集	186	33	36	81	33	369
测试标签集	186	33	36	81	33	369

下载: 导出CSV 

| 显示表格

数据集的标注是利用Photoshop软件平台对输送带图像进行像素级标注，使用像素宽度为1的直线对传送带边缘进行标注，剩余部分为背景，标注结果可视化后的图像如图8所示。

图  8  5种工业场景下的输送带图片标签数据集

Figure  8.  Belt image label datasets in five industrial scenarios

下载: 全尺寸图片 幻灯片

3.2   试验环境和参数

试验在i9-9820X CPU、两块NVIDIA RTX 2080 Ti GPU的设备上进行，操作系统为Ubuntu 20.04，cuda版本10.2，cudnn版本7.5，pytorch版本1.6，并在PyTorch框架下实现网络模型。试验的总轮数设置为100轮，批数大小设为4，初始的学习率设为0.001，使用warming up预热1轮后采取poly学习率衰减策略，衰减率为0.9。采用AdamW作为模型的优化器，动量为0.9，权重衰减项设置为1×10⁻⁴。

3.3   消融试验

为了验证DFTNet模型结构的最优性，从模型深度、输入图片大小以及模型大小3个方面设计了消融试验，并在同一数据集上进行试验验证。

模型深度的影响：根据SwinT有4个连续的模块分别称为“Stage1”、“Stage2”、“Stage3”和“Stage4”，分别对应着不同的模型深度；每个模块相应输出分别表示为“c₁”、“c₂”、“c₃”和“c₄”，详细见参考文献[14]，本文结构主要使用SWinT的“c₁”、“c₂”。“c₁”、“c₂”、“c₃”和“c₄”，对应输出特征图像的大小为H/4×W/4、H/8×W/8、H/16×W/16、H/32×W/32，意味着模型对图像语义信息提取的深度。本文分别设计构建了“c₁，c₂”、“c₁，c₂，c₃”、“c₁，c₂，c₃，c₄”等3种不同深度的网络结构，相应的CNN基础模块也随之加深，试验结果见表3。由试验结果可知模型的检测性能并不是简单地随着网络深度的增加而增加，而模型的计算负载则随着模型深度显着增加。因此，本文模型设置网络深度为“c₁，c₂”，并由此构建相应的融合网络模型。

表  3  模型深度消融试验结果

Table  3.  Ablation experimental results of module deepth

网络模 型深度	均交 并比/%	准确 度/%	平均调和 平均值/%	平均精 确度/%	平均召 回率/%	浮点运 算量/109	参数 量/106
c1，c2	91.08	99.48	88.40	91.88	96.22	5.71	28.45
c1，c2，c3	87.10	99.33	85.25	89.31	90.37	7.53	45.40
c1，c2，c3，c4	86.68	99.35	84.91	88.61	90.66	9.78	45.40

下载: 导出CSV 

| 显示表格

输入图片尺寸的影响：本文分别测试了64 px×64 px，128 px×128 px，256 px×256 px，512 px×512 px等3种不同输入图片的尺寸，试验结果见表4。随着输入图片尺寸大小从64×64增加到256×256时，Transformer输入图片的特定序列尺寸也随之变大，模型的分割效果也随之变好，但是输入图片尺寸512×512不如256×256，故本文输入图片尺寸大小设置为256×256。

表  4  输入图片尺寸消融试验结果

Table  4.  Ablation experimental results of input size

输入图 片尺寸	均交并比/%	准确度/%	平均调和 平均值/%	平均精 确度/%	平均召 回率/%
64×64	88.02	91.68	88.07	90.37	95.32
128×128	89.13	96.77	88.03	90.39	95.43
256×256	91.08	99.48	88.40	91.88	96.22
512×512	88.21	90.87	87.50	91.00	94.23

下载: 导出CSV 

| 显示表格

模型大小的影响：根据SwinT的模型类型，一共包含tiny，small，base等3种不同参数量的模型，本文相应设计了3种模型参数量的DFTNet，试验结果见表5。随着模型大小的增大，模型效果并没有较大的提升，但是模型参数量增加，计算量增加，模型运行效率下降。因此，本文模型大小设置为tiny。

表  5  模型大小消融试验结果

Table  5.  Ablation experimental results of model scale

网络模 型大小	均交 并比/%	准确度/%	平均调和 平均值/%	平均精 确度/%	平均召 回率/%	浮点 运算量/109	参数 量/106
tiny	91.08	99.48	88.40	91.88	96.22	5.71	28.45
small	90.10	98.91	87.85	89.31	96.37	6.60	49.77
base	91.25	99.35	87.21	89.61	96.16	10.78	88.40

下载: 导出CSV 

| 显示表格

3.4   对比试验

为了验证算法方法的有效性及优越性，本文选取大量具有代表性的语义分割网络模型进行对比试验，包括纯深度神经卷积网络架构的FCN（2015）、UNet^[18]（2015）、SegNet^[19]（2016）、DeepLab v3（2017）、PSPNet^[20]（2017）、DanNet^[21]（2019）、BiSeNet V2^[22]（2021）。本章所有对照试验方法均在同一数据集的训练样本、同一优化器、损失函数、参数的条件下进行试验。由表6、图9、图10、图11可知，在相同数据集下，提出的DFTNet的均交并比mIoU为91.08%、准确度ACC为99.48%、平均调和平均值mF1为88.40%、平均精确度为91.88%，平均召回率mRecall为96.22%为所有模型最高，高于所有纯卷积神经网络。同时，均交并比mIoU、准确度ACC，平均精度mPrecision，相比纯卷积神经网络HRNet分别提升了25.36%、0.29%与17.70%，相比FCN分别提升了29.5%、0.32%与24.77%，在参数量、计算速度尤其是均交并比等指标上均有较大提升。

表  6  各模型对比试验结果

Table  6.  Comparing the experimental results of each model

网络 模型	均交 并比/%	准确 度/%	平均调和 平均值/%	平均精 确度/%	平均召 回率/%	浮点 运算量/109	参数 量/106
HRNet	65.72	99.19	70.7	87.02	66.76	5.15	10.42
FCN	61.58	99.16	63.63	81.23	62.09	30.79	15.31
UNet	86.01	99.52	84.31	86.7	82.22	23.73	13.40
SegNet	79.06	99.41	87.76	86.55	82.42	26.50	35.00
DeepLab V3	86.87	99.44	85.05	81.41	89.68	31.33	41.68
PSPNet	87.46	99.49	85.53	83.51	87.83	33.96	48.63
DanNet	81.2	99.43	89.92	85.49	85.89	37.86	49.48
BiSeNet V2	66.43	99.22	71.81	80.16	67.45	2.46	3.62
DFTNet	91.08	99.48	88.4	91.88	96.22	5.71	28.45

下载: 导出CSV 

| 显示表格

图  9  各模型评价指标对比试验结果

Figure  9.  The Comparative experiment results of each model`s evaluation indicators

下载: 全尺寸图片 幻灯片

图  10  各模型参数量对比试验结果

Figure  10.  The Comparative experiment results of each model`s parameters

下载: 全尺寸图片 幻灯片

图  11  各模型结果

Figure  11.  Results of each model

下载: 全尺寸图片 幻灯片

从评价指标上来看，DFTNet的各项评价指标为对比试验中最优；从检测结果来看，如图11所示，可以清楚地看到，DFTNet的误分类像素最少；从综合性能上，DFTNet相比其他方法为最优，且在保证检测精度的同时，浮点运算和参数量与纯卷积网络相比也颇具优势，有更好的轻量化和更快的运算速度，同时，模型在批数大小设为4的情况下，处理图像帧率达53.07 fps，更加适用于工业实际场景，可以实现多种场景下输送带边缘的实时性检测，进而实现多场景下的输送带跑偏检测。

4.   实际运行结果

在现场环境中搭建了如图12所示输送带跑偏监测系统，并应用了DFTNet网络，由于本模型网络处理图像帧率可以达53.07帧/s，实际使用中，我们将摄像头采集到的图像实时实时传输到我们的服务器中进行逐帧处理，处理完毕后通过图像拼接程序还原成实时的跑偏检测图像并显示在前端软件界面，显示结果如图13所示。通过显示界面可以实时显示输送带偏移情况，误差为±0.1 cm，通过实地验证，检测结果与输送带实际跑偏结果一致，证明了DFTNet网络模型的有效性，检测准确率≥90%，具有较好的应用价值。

图  12  输送带跑偏监测系统示意

Figure  12.  Conveyor belt deviation monitoring system

下载: 全尺寸图片 幻灯片

图  13  输送带跑偏检测结果

Figure  13.  Conveyor belt deviation detection results

下载: 全尺寸图片 幻灯片

5.   结　　论

1）提出了一种全局与局部信息双流融合的输送带边缘检测网络模型DFTNet，该模型通过将传统卷积神经网络的卷积对局部特征的提取能力与Transformer结构对全局、长距离信息感知能力相结合，能够较好地提高输送带边缘检测精度并抑制输送带图像噪声和背景的干扰，相比纯卷积神经网络HRNet分别提升了25.36%、0.29%与17.70%，相比FCN分别提升了29.5%、0.32%与24.77%，在参数量、计算速度尤其是均交并比等指标上均有较大提升。

2）通过设计CNN和Transformer特征融合模块，形成双流编码器–解码器结构，利用结构的巧妙设计，可以更好地融合全局上下信息，避免了Transformer结构在大规模数据集上预训练，可以灵活调节网络结构，构建了工业输送带数据集，并在数据集上通过大量试验验证，DFTNet取得了最好的模型性能，在保证检测精度的同时，浮点运算和参数量与纯卷积网络相比也颇具优势，有更好的轻量化和更快的运算速度，同时，模型在批数大小设为4的情况下，处理图像帧率达53.07 fps，更加适用于工业实际场景。

3）在后续研究中，将对该模型进一步改进及优化，同时对数据集进行扩充，使模型其更加具有泛化性，可以更加有效地应用到背景更加复杂的工业场景下输送带边缘检测中。