基于改进Yolo v3的电连接器机器视觉检查
|
针对电连接器缺陷检测自动化程度低、检测精度低、检测速度慢、鲁棒性差等问题，本文提出了一种改进的Yolo v3算法来检测电连接器缺陷。首先，采用K-means聚类算法对本文的数据集进行聚类分析，以得到三种具有长宽比的候选帧，以提高缺陷对象的检测精度。将骨干网第三残差块输出的8倍降采样特征图进行4次升采样，将获得的特征图与第二残差块输出的2倍降采样特征图合并，得到融合特征检测层;将目标检测层通过的6个DBL单元更改为2个DBL单元，并加上2个残差单元，以改善特征重用和获取;另外，本文选择单尺度特征图进行目标检测，而不是对原始网络进行多尺度预测，不仅节省了计算量，而且在一定程度上避免了误检测。 针对电连接器的内圈和外圈之间的相对旋转缺陷，本文提出了一种新的检测方法。定性和定量实验结果表明，本文改进的Yolo v3算法在检测各种类型电连接器缺陷时具有较好的性能和速度，准确率达93.5%，比Faster R-CNN准确率更高。原始的Yolo v3速度更快，基本上可以满足工业领域对电连接器测试的要求。 第一节：引言 电连接器是整个航空航天工业中非常重要的部分，起着电源连接和数据连接的作用，由于其密封强度、高弯曲强度、良好的气密性等特性，在航空航天、家用电器和其他领域的连接和包装，它起着举足轻重的作用。 由于圆形电连接器的生产中存在各种缺陷，因此缺陷检测必不可少。在生产过程中，焊点很容易掉落在焊杯上(如图1所示)，导致焊点出现在焊杯表面，从而出现无法完全密封甚至无法连接的情况。因此，有必要检测焊料点的存在以去除焊料。 另一方面，在焊接地线的过程中，由于机器或手动操作的错误而导致地线的焊接错误，将直接导致电连接器的插针不接地甚至短路，导致整个系统崩溃。因此，有必要检测接地线的位置，以确定接地线是否焊接错误。 最后一个缺陷是圆形电连接器的内圈和外圈相对旋转，因此插头和插座无法连接在一起，导致连接器无法正常使用。一旦有缺陷的电连接器在使用过程中出现问题，将导致整个系统崩溃甚至危及生命和财产安全，损失无法估算。因此，电连接器的缺陷检测非常重要。
图1.焊点缺陷。 目前，电连接器的主要检测方法如下：1)人眼观察法，检测效率低，受人为主观因素的影响很大，不能保证其准确性。另外，检查人员需要拿起工件并将其放在放大镜下进行观察。手上的汗渍和敲打可能会导致金属工件腐蚀或损坏;2)机器视觉检查方法。该方法具有更高的效率、准确性和可重复性，并且是非接触式方法，对工件无损。 与人眼检测相比，机器视觉具有更明显的优势，但是目前大多数连接器缺陷检测仍采用人眼观察方法，该方法主要是在检测过程中依靠人眼，因此无法保证检测的准确性和结果，并且无法获得重复性和可追溯性。 目前，关于电连接器的外观检查的研究很少。其中，研究最多的问题是电连接器壳体的缺陷，对电连接器的插座部分的缺陷的研究较少。江苏大学李建康(音译)研究提出了一种基于小波分析的纹理缺陷检测方法，以检测电连接器的表面粗糙度。他创新地提出了粗糙度特征参数的提取并建立了粗糙度模型。他的主要研究领域是壳体的外观检查，本文的重点是检测电连接器的功能缺陷，以确定其是否可以正常使用。其外壳检查只能离线检测，不能满足现代自动化生产线的需求。 哈尔滨工业大学卢家瑜(音译)提出了一种基于灰度特征的引脚匹配模板匹配算法和一种基于灰度质心的引脚定位算法。它主要实现引脚的识别和定位，但尚未执行下一步检测，并且主要缺陷检测尚未完成。该方法只能识别一种类型的电连接器，并且只能放置在特定位置，否则无法识别。 北京航空航天大学的杜福州提议使用基于支持向量机(SVM)的双目视觉对各种类型的引脚进行分类和识别，并识别相应引脚的缺陷，但这种方法的平均识别时间为1.1秒并且有待改进，无法在不同位置识别电连接器。综上，关于多模型电连接器缺陷检测的研究很少，传统的图像处理方法经常被用于检测，存在精度低、实时性差、鲁棒性差等问题。为了解决这些问题，本文提出使用深度学习来解决电连接器的三种常见缺陷检测方法。 第二节.电连接器的缺陷特性分析 A.焊点缺陷特征分析 本文的研究对象之一是由于生产过程中的问题而导致的电连接器焊杯上散落的焊点。焊点可能散布在焊杯上的任何位置，并且形状和大小不固定，如图1所示是焊点缺陷。焊杯是引脚的固定底座，引脚是电连接器的连接部分。如果存在焊点，可能会导致接触不良甚至无法连接，因此在出厂之前必须对工件进行测试以排除这种情况。焊点的尺寸和形状不固定。灰度预处理后，在不均匀的光照条件下将显示不同的灰度值。传统的图像处理技术很难检测到焊点，其准确性和速度也难以满足现代生产线的测试要求。 B.接地线焊接错误的分析 本文的另一个研究对象是电连接器的接地线。接地线可能没有焊接到指定的引脚上，而是由于生产过程中操作员或机器的操作错误而焊接到了引脚的左侧或右侧，如图2所示。接线错误。绿色框表示接地线的正确焊接位置，两个红色十字框表示接地线可能被错误焊接的位置。图片显示了正确的焊接位置。 如果接地线焊接错误或漏焊，可能会导致严重的泄漏事故，甚至影响人们的生命和财产安全。本文的研究内容是基于现代生产线在线测试需求的前提。在测试期间，电连接器的位置不是固定的，这使得无法确定接地线相对于整个电连接器的位置以及接地线是否正确焊接。地面线检测可以通过传统的图像处理技术来实现，但是传统的图像处理技术侧重于特征的提取，对于具有更多特征的稍微复杂的场景，它不能很好地提取特征，因此只能在相对简单的情况下使用实时性要求较低的背景和场景。 显然，这种方法不能满足该主题的需求，但是近年来流行的深度学习网络模型可以很好地解决该问题。与传统的目标检测算法相比，深度学习使用多层卷积网络来提取高级信息，并且可以同时以更高的准确性和更强的泛化能力提取基础信息。Yolo v3网络模型在考虑准确性的同时具有快速识别速度，并且增加了小目标识别的优化，这更适合此主题。
图2.地线的交错焊接图。 C.电连接器内圈和外圈的相对旋转缺陷分析 本文的研究重点是圆形电连接器的内圈和外圈的相对旋转。如图3所示，电连接器内部的浅色圆形区域是内环，外部暗环区域是外环。黄线代表外圈的中心轴，绿线代表内圈的中心轴。普通电连接器的中心轴应重合。 在电连接器的生产过程中，由于工人的错误，内圈和外圈的位置不对齐，导致内圈和外圈的中心轴相对旋转。因为内圈的位置旋转，并且内圈上的插座同时旋转，所以插座的位置无法与正确的销钉对齐。结果，在连接过程中连接导轨后，外圈无法再插入，因此无法正常使用。为了避免这种情况，必须检测不合格的工件，即检测内圈和外圈的中心线的相对旋转角度。传统的图像处理技术还没有关于这种缺陷检测的相关研究。我们可以使用模板匹配的方法分别检测内环和外环模板，在两个模板上建立直角坐标系，并计算出相应的角度。但是，模板匹配检测存在检测速度慢、不稳定、鲁棒性差等问题。另外，无法满足该主题中对工业现场的实时检测的要求，并且放置在不同位置的电连接器的检测效果差。 本文创新地提出使用改进的Yolo v3来识别和定位内外圈区域，将内外圈区域的中心线方向映射到图像，分别计算内外圈的中心线角度，并获得相对旋转角度差代表相对旋转度。从而完成对此类缺陷的检测。将Yolo v3从整个对象的检测转换为对对象的特定部分的识别，并将其应用于实际生产操作。将深度学习网络用于目标检测将大大提高识别精度，并增强识别的鲁棒性。对于不同的场景，不同位置的电连接器具有更好的检测结果。
图3.内圈和外圈的相对旋转缺陷。 第三节.Yolo v3 Yolo算法由Redmon等人提出。在2016年，它将整个图像作为输入并将目标检测问题转换为简单的回归问题。在2018年，它发展到了第三代Yolo V3。顾名思义，只要执行前向操作，它就可以完成目标检测。由于此功能，它的运算速度比其他目标检测算法快，但准确性降低。在保持Yolo v2的速度的同时，Yolo v3大大提高了检测精度，特别是对于小目标的识别。 A.网络结构 通过改进现有的骨干网络结构，很大程度上可以实现每一代Yolo的提升，Yolo v3也不例外。Yolo v3已从Yolo v2的Darknet-19升级到Darknet-53，并且卷积层已增加到53层。其网络框架如图4所示。Darknet-53借鉴了残留神经网络(resnet)的概念，并向网络添加了5个残留块(residual)。每个残差块包含不同数量的残差单元(res_unit)。残差单元主要由输入和两个数字累积建模(DBL)单元组成。其中，DBL单元是Yolo v3的基本组成单元，它包含卷积，批归一化(BN)和Leaky relu激活功能。因为在Darknet-53网络中增加了剩余单元，解决了梯度消失的问题，并在加深网络的基础上提高了特征的重用性。另外，在整个v3网络中没有池化层和完全连接层，因此在正向传播过程中，张量的大小更改是通过更改卷积内核的步长来实现的。当步长设置为2时，每次经过卷积层后，图像的大小将变为原始图像的一半，并且该区域将变为原始图像的四分之一。
图4. Yolo v3网络结构。 B.多尺度检测 Yolo v3借鉴了FPN(特征金字塔网络)的思想来检测小型目标，并通过多尺度预测来实现对不同大小目标的检测。Yolo v3网络的最终输出是原始图像的1/32、1/16和1/8特征图。主要实现过程是在第79层后面经过多次卷积处理后获得1/32(13×13)特征图，该特征图具有较大的接收场，适合于大规模目标检测。 然后对结果进行上采样并与第61层的结果进行级联(张量拼接)，然后进行卷积以获得适合中规模目标检测的1/16(26×26)特征图。然后将以上结果进行上采样并与第36层结果进行级联，然后进行卷积以获得1/8(52×52)特征图，该特征图的接收场较小，更适合检测小目标。 如图5所示，当输入图像大小为416×416×3时，Yolo v3输出三个大小不同的特征图，输出特征图分别为y1、y2和y3，它们分别代表13×13、26×26和52×52网格的特征图。在Yolo v3中，每个网格预测3个框，每个框需要(x、y、w、h、置信度)5个参数。在COCO类别中，每个方框需要识别80个类别，因此特征图的深度为255。浅层特征图通过Yolo v3网络叠加到相邻通道，这样一来，网络就可以同时学习深层和浅层特征，该模型具有更细粒度的功能，从而提高了模型对小目标的检测能力。
图5.多尺度预测。 C.目标边界框预测 与Yolo v2一样，Yolo v3也使用K-means(均值聚类方法)来获取图像中目标的先验锚点的大小。因为Yolo v3总共输出三个比例尺特征图，并且存在对应于大、中、小尺寸的三个先验帧，所以有九个尺寸的先验盒。对于COCO数据集，从9个聚类中获得的先验锚如表1所示，不同比例的特征图对应于不同大小的先验锚。 表1.COCO数据集9种优先框
在预测边界框之前，Yolo v3使用Logistic回归对先前锚点周围的区域执行客观评分，以确定该区域是否为目标区域。对于不是最好的目标区域，模型将不会进行预测，只会预测目标存在概率最高的区域。通过此步骤，可以删除不必要的先前锚，并可以减少计算量，并且模型可以更快地运行。 筛选后，Yolo v3使用与Yolo v2相同的直接预测方法，而不是RPN(区域候选网络)中的锚定机制，如图6所示，其中(tx，ty)表示Rolo左上角之间的距离。该点所在的框和目标中心点。Sigmoid函数用于标准化，而不是原始的softmax回归方法，因为softmax方法会增加最可能类别的概率并抑制其他类别的值，因此不适合多标签分类。乙状结肠功能比其他方法更准确。(Cx，Cy)表示该点所在的网格与左上角的网格之间的晶格数之差。(Pw，Ph)表示先前锚点的宽度和高度。
图6.边界框预测机制。 从公式(1)可以看出，边界框的宽度，高度和置信度可以直接通过(tx、ty、tw、th、to)来计算。
D.损失函数 Yolo v3中的损失函数具有三个主要部分，目标置信度损失函数Lconf(o，c)，目标分类损失函数Lcla(O，C)和目标定位损失函数Lloc(l，g)，如图所示 公式(2)如图所示。
目标定位损失包括预测帧宽度和高度(w，h)损失函数以及中心点(x，y)损失函数。前者使用误差平方和方法来计算损失函数，后者使用二进制交叉熵方法来计算损失函数。计算的目的是为了能够应付更复杂的情况，例如同一目标可能被分为多个类别。目标置信度损失函数和目标分类损失函数也使用此方法。 第四节.改进的Yolo v3 圆形电连接器上存在的细小缺陷是本文的研究对象，小目标的检测是主要的检查任务。 Yolo v3中的9个大小先验锚是通过基于COCO数据集的K-均值聚类分析获得的，但显然不适合该主题的研究对象。另一方面，尽管将多尺度预测方法添加到Yolo v3网络中以优化对小目标的检测，但是效果不如预期的好。因此，本文对Yolo v3的改进主要在聚类方法和网络结构修改方面。 A.锚箱聚类分析 Yolo v3使用Faseter R-CNN中的锚点框机制。锚定框是一组具有固定宽度和高度的先验候选框，其大小和比例将直接影响目标检测中网络模型的准确性和速度。在Yolo v3中，K均值聚类用于确定大小和比例。对于COCO数据集，聚簇了9种尺寸的锚框，如表1所示。但是，这9种尺寸不适合本主题的研究对象。通过此数据集聚集的锚框的大小不能满足圆形电连接器的缺陷大小要求。因此，该主题的数据集需要进行K均值聚类分析。聚类数据集时，将平均IOU用作聚类结果的标准。平均IOU值越高，聚类效果越好。公式(3)示出平均IOU的计算方法。
其中T代表实际目标框，即样本; P代表群集的中心，即群集框。IIOU(T，P)表示目标中心框和群集框之间的IOU(交叉比率);k代表群集总数;n代表样本总数nk代表第k个聚类中心的样本数;i代表样品编号;j代表聚类中心的样本数。K代表K均值聚类中的聚类数，它是你最终想要获得的聚类数，你可以自由选择该数。 在本实验中，选择k =1〜20，并且总共使用20个聚类对图像数据集进行聚类分析。聚类结果如图7所示。从聚类结果图中可以看出，随着聚类数量的增加，判断指标Avg IOU 越来越高，增长率也不断降低，并且变化变慢，因此曲线最大斜率之后的点可以视为最佳点。一方面，更少的点可以减少计算量并加快损失函数的收敛速度。另一方面，它也可以消除由可删除候选框引起的错误，并且可以选择数量和大小更符合此主题的锚框。从图6可以看出，最佳点是当聚类数为3，且在此数据集上获得的三个聚类中心的维数分别为(13，20)(18，19)(23，12)时。
图7.聚类分析结果。 B.改进的Yolo v3网络结构 随着Yolo v3网络级别的加深，图像的细节和位置信息将继续减少，而语义信息将继续增强。为了定位目标，需要更详细的信息，因此需要基础网络的更多特征。对于类别检测，需要更多高级语义信息。对于目标检测必须确定目标位置和类别。 因此，使用多尺度融合预测方法来检测Yolo v3原始网络结构中的目标。上采样用于将高层网络与底层网络融合，以获得更多的特征信息以进行定位和分类。Yolo v3使用8倍的降采样特征图来预测小目标，但是当检测目标小于8×8像素时将有缺点，并且本文中要检测的缺陷非常小，这导致检测困难。 |
