中国综合性科技类核心期刊(北大核心)

中国科学引文数据库来源期刊(CSCD)

美国《化学文摘》(CA)收录

美国《数学评论》(MR)收录

俄罗斯《文摘杂志》收录

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于深度学习的铝材表面缺陷检测

张旭 黄定江

张旭, 黄定江. 基于深度学习的铝材表面缺陷检测[J]. 华东师范大学学报(自然科学版), 2020, (6): 105-114. doi: 10.3969/j.issn.1000-5641.201921021
引用本文: 张旭, 黄定江. 基于深度学习的铝材表面缺陷检测[J]. 华东师范大学学报(自然科学版), 2020, (6): 105-114. doi: 10.3969/j.issn.1000-5641.201921021
ZHANG Xu, HUANG Dingjiang. Defect detection on aluminum surfaces based on deep learning[J]. Journal of East China Normal University (Natural Sciences), 2020, (6): 105-114. doi: 10.3969/j.issn.1000-5641.201921021
Citation: ZHANG Xu, HUANG Dingjiang. Defect detection on aluminum surfaces based on deep learning[J]. Journal of East China Normal University (Natural Sciences), 2020, (6): 105-114. doi: 10.3969/j.issn.1000-5641.201921021

基于深度学习的铝材表面缺陷检测

doi: 10.3969/j.issn.1000-5641.201921021
基金项目: 国家自然科学基金(U1711262, 11501204)
详细信息
    通讯作者:

    黄定江, 男, 研究员, 博士生导师, 研究领域为机器学习与人工智能. E-mail: djhuang@dase.ecnu.edu.cn

  • 中图分类号: TP391

Defect detection on aluminum surfaces based on deep learning

  • 摘要: 随着信息技术在工业制造领域的深入应用, 工业制造大数据研究正成为实现智能制造、帮助政府指导制造企业转型升级的重要参考依据. 在传统的钢铁、铝材等金属制造行业, 更是存在生产方式粗放、生产工艺简单等问题. 因此, 迫切需要利用人工智能等新一代信息技术来改善生产流程,提高生产效率. 在使用铝材时, 必须检查铝材表面. 现有的铝材表面缺陷检测受限于传统人工肉眼检查, 十分费力, 或基于传统的机器视觉算法, 识别率不高, 通常不能及时准确地判断出表面瑕疵. 为解决这些问题,利用深度学习来进行铝材表面缺陷检测: 首先运用两大目标检测算法Faster R-CNN(Region-CNN(Convolutional Neural Networks))和YOLOv3对制作的铝材缺陷数据集进行检测; 然后基于YOLOv3算法进行改进, 提升铝材表面很小缺陷的检测效果. 在广东工业智造大数据创新大赛提供的“铝型材瑕疵识别”数据集上进行了实验验证, 实验结果显示, 改进算法的平均精度均值(mean Average Precision, mAP)比YOLOv3算法高3.4%, 比Faster R-CNN算法高1.8%.
  • 图  1  LeNet的体系结构

    Fig.  1  Architecture of LeNet

    图  2  锚点框设置

    Fig.  2  Anchor boxes setting

    图  3  RPN结构图

    Fig.  3  RPN Structure Diagram

    图  4  Faster R-CNN 流程

    Fig.  4  Faster R-CNN process flow

    图  5  YOLOv3流程

    Fig.  5  YOLOv3 process flow

    图  6  原算法检测结果

    Fig.  6  Original algorithm test result

    图  7  每个尺度的输出

    Fig.  7  Output at each scale

    图  8  改进后检测结果

    Fig.  8  Improved test results

    图  9  一类缺陷: 由上往下,第一排分别为不导电、擦花、桔皮, 第二排分别为漆泡、漏底、喷流, 第三排分别为起坑、脏点、杂色

    Fig.  9  A kind of defect: The pictures in the first row(from top to bottom) are non-conducting, wiping, and orange peel; The middle row is the corner leaking bottom, the bottom leaking, and the jet flow; The last row is pit, dirty, and motley

    图  10  Darknet-53的卷积网络结构

    Fig.  10  Convolutional network structure of Darknet-53

    图  11  擦花缺陷检测效果

    Fig.  11  Wiping Defect Detection Effect

    图  12  脏点缺陷检测效果

    Fig.  12  Dirty Defect Detection Effect

    表  1  分类混淆矩阵

    Tab.  1  Classification confusion matrix

    真实情况预测情况
    正样本负样本
    正样本 真正例(True Postive, TP) 假反例(False Negative, FN)
    负样本 假正例(False Postive,FP) 真反例(True Negative, TN)
    下载: 导出CSV

    表  2  实验结果

    Tab.  2  Experimental results

    算法基础网络mAP/%
    Faster R-CNNVGG1685.3
    YOLOv3Darknet-5383.7
    改进的YOLOv3Darknet-5387.1
    下载: 导出CSV
  • [1] 相泽均. 冷轧钢板表面缺陷检测系统[J]. 周源, 译. 世界钢铁, 1994, 21(2): 66-73.
    [2] 陈妍. 冷轧带钢材表面缺陷智能检测技术的发展 [J]. 鞍钢技术, 1998(9): 25-30.
    [3] 刘娜, 强锡富, 高若云. 图像处理在非接触测量中的应用 [J]. 电测与仪表, 1998(11): 44-45.
    [4] 罗志勇, 刘栋玉, 江涛, 等. 新型冷轧带钢表面缺陷在线检测系统 [J]. 华中理工大学学报, 1996(1): 75-78. doi:  10.13245/j.hust.1996.01.021
    [5] LIU B, WU S, ZOU S F. Automatic detection technology of surface defects on plastic products based on machine vision [C]// 2010 International Conference on Mechanic Automation and Control Engineering (MACE). IEEE, 2010: 2213-2216. DOI: 10.1109/MACE.2010.5536470.
    [6] DENG S E, CAI W W, XU Q Y, et al. Defect detection of bearing surfaces based on machine vision technique [C]// 2010 International Conference on Computer Application and System Modeling. IEEE, 2010: V4-548-V4-554. DOI: 10.1109/ICCASM.2010.5620311.
    [7] 贾方庆. 基于机器视觉的带钢表面缺陷检测系统研究 [D]. 重庆: 重庆大学, 2007.
    [8] 谭绍华. 基于机器视觉的带钢表面缺陷检测系统研究 [D]. 武汉: 华中科技大学, 2012.
    [9] 刘孟轲, 吴洋, 王逊. 基于卷积神经网络的轨道表面缺陷检测技术实现 [J]. 现代计算机(专业版), 2017(29): 67-71,79.
    [10] 刘雄祥. 基于卷积神经网络的铁轨表面缺陷识别研究 [D]. 四川 绵阳: 西南科技大学, 2018.
    [11] GIRSHICK R. Fast R-CNN [C]// 2015 IEEE International Conference on Computer Vision(ICCV). IEEE, 2015: 1440-1448. DOI: 10.1109/ICCV.2015.169.
    [12] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. doi:  10.1109/TPAMI.2016.2577031
    [13] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE, 2016: 779-788. DOI: 10.1109/CVPR.2016.91.
    [14] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector [C]// Computer Vision - ECCV 2016. ECCV 2016. Lecture Notes in Computer Science, vol 9905. Cham: Springer, 2016: 21-37.
    [15] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]// 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). IEEE, 2005: 886-893. DOI: 10.1109/CVPR.2005.177.
    [16] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision(IJCV), 2004, 60(2): 91-110. doi:  10.1023/B:VISI.0000029664.99615.94
    [17] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. doi:  10.1109/5.726791
    [18] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM, 2017, 60(6): 84-90. doi:  10.1145/3065386
    [19] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2015-04-10)[2019-06-15]. https://arxiv.org/abs/1409.1556.
    [20] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE, 2016: 770-778. DOI: 10.1109/CVPR.2016.90.
    [21] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2014: 580-587. DOI: 10.1109/CVPR.2014.81.
    [22] HUANG L C, YANG Y, DENG Y F, et al. DenseBox: Unifying landmark localization with end to end object detection [EB/OL]. (2015-09-19)[2019-06-15]. http://export.arxiv.org/pdf/1509.04874v3.
    [23] ZHU C C, HE Y H, SAVVIDES M. Feature Selective anchor-free module for single-shot object detection [C]//2019 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE, 2019: 840-849. DOI: 10.1109/CVPR.2019.00093.
    [24] REDMON J, FARHADI A. YOLOv3: An incremental improvement [EB/OL]. (2018-04-08)[2019-06-15]. https://arxiv.org/abs/1804.02767.
  • 加载中
图(12) / 表(2)
计量
  • 文章访问数:  506
  • HTML全文浏览量:  249
  • PDF下载量:  54
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-08-27
  • 刊出日期:  2020-11-25

目录

    /

    返回文章
    返回