基于计算机视觉的H型钢结构连接器的自动识别和焊接轨迹提取

  1.1 课题研究背景及意义

  随着我国经济实力的不断增强，劳动力成本逐渐提高，因此传统制造业开始逐渐离开中国。由于国民经济的迅速发展，综合国力的日益上升，人民的生活水平越来越高，消费能力越来越强，使得工业制造业的生产压力骤然提高，按照传统的生产方式不能满足日益增长的供应需求，为了符合工业制造业发展需要，国内外许多国家提出了各自智能制造发展战略，如德国2013 年提出的“工业 4.0”、欧盟 2010 年提出的“欧洲 2020 的战略”、美国政府 2014 年提出的“再工业化”、日本政府 2015 年发布的《机器人新战略》，世界上许多发达的国家都在积极地发展智能制造技术，科研投入不断加大，大力推动机器人在工业制造行业中的应用，在这样的时代潮流之下，我国也越来越重视智能制造技术。政府颁布了许多政策支持智能制造技术的研发，同时也投入了大量的资金支持各大高校、制造企业对智能制造技术的探索,加快迎接我国的“工业 4.0”的到来。2015 年国务院印发了《中国制造 2025》战略规划，引导我国智能制造的发展，实现制造强国梦，大力推动智能机器人、无人驾驶、新能源汽车等智能制造领域的研究与支持。随着国家智能制造产业领域增加的投入和研究，我国的工业自动化及现代化得到很大程度的改善和提高。工业机器人可以在很大程度上降低制造业的人工成本，提高生产效率和产品质量，同时还可以改善操作人员的工作环境。因此我国大力推进工业现代化的进程，推进国内各行各业进入工业 4.0 阶段是未来发展的必然趋势。图 1.1 是传统焊接人员工作环境，传统焊接的工作环境恶劣，强度大，危险系数高，技术要求严，导致了焊接制造业的人力成本居高不下，所以说传统的焊接行业急需发展和改进。在智能制造的大背景下，用焊接机器人代替传统的焊接行业是大势所趋。焊接工业机器人作为高端智能装备的主要代表，它是人类将机器视觉与机器人技术结合起来并且应用于焊接领域的产物，相较于传统焊接方式，焊接机器人具有改善操作人员恶劣的工作环境，降低人工劳动成本，提高生产效率等优点；相较于传统的刚性焊接模式，焊接机器人拥有比较灵活的焊接模式。在工业机器人中焊接机器人数量最多，应用最为广泛，特别是在汽车、造船、矿山、机械、航空航天、轨道交通、冶金等行业。在这些行业中 90%的焊接都是钢与钢焊接，所以钢材焊接显得尤为突出。钢结构复杂性主要表现在钢结构样式和钢结构材料上。钢结构样式主要体现在其在空间位置纵横交错拼接在一起。常用的钢结构材料主要包括碳素结构钢、低合金高强度结构钢、建筑结构钢、耐候结构钢等。钢结构之间的连接一般采用的是焊接，螺栓螺柱等连接方式，由于钢结构材料种类非常多，传统人工焊接难以满足日益壮大的钢结构产品需求，这就促使焊接行业朝着自动化，智能化方向发展。由于钢结构附件样式种类非常多，而且拼接十分复杂，传统焊接要求焊接工人具有专业的理论基础知识和丰富的实践经验，但是一般的操作工人不具备这样较高的综合素质，从而制约了传统焊接行业的发展。H型钢结构连接件是种较为常见的钢结构附件，因此课题从H型钢结构连接件智能焊接出发，采用计算视觉技术测量得到焊接工位上的待焊H型钢结构连接件形状及位姿信息，与CAD模型库中的H型钢结构连接件理论模型进行匹配识别，获得待焊H型钢结构连接件类型信息，并根据理论模型数据提取焊缝轨迹，对实现H型钢结构连接件的智能焊接具有很强的应用价值。

  1.2 工件识别技术国内外研究现状

  俄罗斯、德国、美国等发达国家对工件识别技术的研究比较早。从二十世纪初基于统计学理论匹配开始，已经形成了许多成熟的技术。用于工件自动识别的介质是工业机器人，随着工业机器人技术的不断成熟和完善，将计算机视觉引入到机器人，给工业机器人加上“眼睛”，提高工业机器人的智能性，国内外许多科研院所已经在这一领域展开了丰富的研究，并取得许多阶段性成果。Rahardja,K 和 Kosaka,A开发了一种 Bin-picking 系统，该系统采用了计算机视觉的原理，能够在复杂环境中识别出多种不同的工件。日本著名的 FANUC 机器人制造公司，通过将硬件系统和 IR Vision 视觉软件系统集成到机器人控制器中，利用计算机视觉捕捉工件图像，完成工件分类与识别的操作。ABB 研发了具有视觉指导的 IRB340 机器人，该机器人在Flex Picker 视觉系统操作下，可精确地定位传送带上的工件，指导机械臂将工件准确地在传送带上抓取工件并将其放在所需的位置，并配有方便人工操作的人机交互界面，可以执行的测序活动为 150 次/分钟。2004 年，日本著名机器人制造公司研究实验室的 Sun Y 等人先通过使用一个摄像头对目标物体在空间的多个位置进行图像采集，得到了物体在不同空间位置中的信息，然后将采集的信息经过处理后实现了目标物体的识别。Haddadin S 等人将深度传感器用于待识别目标的深度信息采集，关节臂基于目标所对应的立体深度信息对目标进行识别及位姿计算。上海交通大学黄红艳，将圆心角、边长、夹角等几何信息作为神经网络的输入，进行不同工件的位姿检测及类型识别；杨东升将阈值分割与区域填充相结合，利用工件的分割区域的最小外接矩作为特征把目标识别出来，实现了工件识别检测系统；哈尔滨工业大学的李胜利基于区域生长法、边缘拟合设计了工件形状特征的提取方法，采用 SVM 的方法识别工件。文献为了克服不均匀光照的影响，提取零件的 HOG 特征，也采用 SVM 的方法实现对零件目标识别。南京航空航天大学的叶文华将轮廓的局部特征与不变矩特征相结合,用工业机器人对加工工件进行识别，取得了较高准确率。

  2.1 H 型钢结构连接件图像的特点

  H 型钢结构连接件有如下特点：H 型钢结构连接件是由许多钢板拼接而成形成的工件，它的种类繁多。不同钢材通过焊接形成组合体，这种结构组合体性能稳定，不易发生破坏。H 型钢结构连接件图像存在着 T型、Y 型、H 型、矩形和十字型等多种复杂的空间交错立体结构。

  2.2 H 型钢结构连接件灰度处理

  彩色图像一般有非常多的信息量，如果直接将彩色图像应用于图像处理会导致计算机处理图像的速度降低，处理难度极大。灰度化以后的图像虽然只有亮度信息，但是它还含着原图像的主要信息特征，同时会使计算机处理图像的速度有所提高，处理难度降低，灰度化后的图像特性不会丢失原图像所包含的所有信息。因此，灰度处理不会影响 H 型钢结构连接件的主要特征。为了尽可能的降低算法的出错几率，确保其准确度，本文将 H 型钢结构连接件彩色图像做灰度化处理，能够由以下 3 类常规的方法来达成。图像噪声可以分成内部与外部噪声两种，外部噪声是因为外部电磁波导致的干扰，比如因电气设备而引发的噪声。内部噪声产生原因可以细分成下述四种情况：第一类引发原因为光与电的基本性质；第二类引发原因为电器的机械运动；第三类引发原因为器材材质自身；第四类引发原因为系统内部设备电路的干扰。通过不同的概率密度函数对噪声进行分类，其最重要的是椒盐噪声。椒盐噪声产生的原因是图像传感器等导致其表面出现黑白间隔的亮暗点噪声。对其进行细分可以分成两种噪声：一种是盐噪声；另外一种是胡椒噪声。“椒”表示黑色噪声，“盐”表示白色噪声。前者是高灰度噪声，后者属于低灰度噪声。一般两种噪声同时出现，呈现在图像上就是黑白杂点。数字图像的噪声主要因为在获取图像的过程中，摄像机组件的运行情况会受到各种客观因素的影响，包括图像拍摄的环境条件和摄像机的传感元器件质量在内都有可能会对图像产生噪声影响。在传输图像的过程中，传输介质所遇到的干扰也会引起图像噪声，如通过无线电网络传输的图像可能会因为光或者其他大气因素被加入噪声信号。通常来说，在进行图像处理时，其自身的滤波可以明显的减少图像噪声的干扰，滤波效果的好坏直接影响后续的图像处理效果。常见的滤波方法有空间平滑去噪，空域滤波方法有均值滤波、中值滤波和高斯滤波等。空间平滑去噪作为一种邻域运算，其主要是利用空间变换的方法来对图像数据进行处理，从而达成平滑的结果，经过输入图像附近邻域内的像素值做计算处理，从而得出输出图像的像素值。平滑处理为了实现不同的滤波技术需要借助不同的滤波器。

  4.3 相似性度量

  4.4 工件模板的建立

  4.5 实验设计与结果分析

  4.6 本章小结

  5.1 视觉算法库及编程工具

  5.2 软件设计

  5.3 软件实现

  5.4 应用实例

  5.5 本章小结