2021“智慧工匠”智能算法竞赛之工业图像缺陷检测

主办方: 联通(上海)产业互联网有限公司和上海地铁维护保障有限公司 - 当前服务器时间 十一月 30, 2021, 12:52 a.m. UTC+8
参赛提交

上一阶段

代码评审阶段
十一月 3, 2021, 8 a.m. UTC+8

当前阶段

决赛阶段
十一月 19, 2021, 8 a.m. UTC+8

终止阶段

Competition Ends
十二月 1, 2021, 8 a.m. UTC+8

注意:本比赛为上海智慧工匠选树赛事之一,仅面向上海企业的个人参与,请先在http://www.zhihuigongjiang.org/zhgj-2.html官网按要求报名取得参赛资格,再来本平台报名赛题。

 

一、赛题考官

联通(上海)产业互联网有限公司

上海地铁维护保障有限公司

 

二、赛题背景

为打响“上海制造”品牌,弘扬“工匠精神”,上海大力发展智能制造和工业互联网,推动人工智能技术在工业制造领域的应用发展。

智慧工业质检是人工智能技术的重点应用领域。传统质检方式以人工为主,成本高、效率低、易出错。以计算机视觉为代表的人工智能技术可针对关键工业设备进行智能化巡检及缺陷检测,这将助力企业提升生产效率,逐渐向数字化进行转型。

三、赛题任务

本赛题希望参赛队伍应用计算机视觉相关算法,结合主办方提供的工业部件图片数据集,对工业部件进行缺陷检测。参赛队伍需通过主办方提供的训练集进行模型训练,并在主办方提供的测试集上进行模型测试,将测试结果提交给主办方进行结果评估。主办方依据评分标准对参赛队伍提交的结果进行打分。最终得分前10位的参赛队伍需提供相关代码及文档提供给主办方进行结果复现。

四、赛题数据

1.训练集

A. 数据规模和内容覆盖

(1)训练集文件夹结构

——train

    ——images

    ——annotations

(2)训练集数据规模

训练集数据图片赛事方提供1180张(1170张无缺陷样本和10张缺陷样本),参赛者可根据需要自行扩充,其中有10张缺陷样本(提供标注文件,没有提供标注文件的为无缺陷样本)。

B. 数据内容示例:

(1)annotations文件夹说明

annotations共有10个xml文件,标注格式可根据需要进行转换。其中,标注xml文件的坐标关键点(xmin,ymin,xmax,ymax)分别对应目标边界框的左上角坐标和右下角坐标,如果一张图中有多个缺陷也会呈现多个<object></object>,xml核心数据为以下图所示:

(2)images文件夹说明

正常样本图片:表面光滑无缺陷,反光处可忽略。

缺陷样本图片:图片中的标注框的位置数值与上面提到的xml标注文件坐标值对应。

样例1

样例2

 

2.测试集

A. 数据规模和内容覆盖

(1)测试集文件夹结构

——test

    ——images

(2)测试集数据规模

测试集数据由主办方提供,共包含1000张图片,参赛队伍需提交1000张测试样本的识别结果文件。

B. 数据内容示例:

五、赛题赛程和提交要求

1.初赛阶段

A. 时间段:

2021.9.27  -- 2021.10.13,线上报名(请点击「参赛提交」,完成报名[平台会对照工匠报名信息,审核通过进入赛事报名])

2021.10.15 -- 2021.10.29 ,线上提交

B. 对象:

所有报名参加该赛道的参赛队伍

C. 数据获取:

参赛队伍可在 10 月 15 日起登陆本次比赛赛事平台(ailab.aispacesh.com/gongjiang/)下载主办方提供的训练集及测试集。请选手自行线下完成模型训练,并基于训练后的模型输入测试集产出结果文件。

同时可登陆本次比赛赛事平台(地址:ailab.aispaces.com/gongjiang/)下载主办方提供的结果提交示例文件。

(请注意,因代码评审阶段有关于时间的限制,因此请各参赛队伍开发模型时,将训练时间控制在24小时以内,测试时间控制在1小时以内,时间计算以一张GTX 2080Ti 为例)

 

D. 提交物:

参赛队伍应于2021.10.29 之前登陆本次比赛赛事平台(ailab.aispacesh.com/gongjiang/)至少进行一次初赛结果提交。

参赛队伍通过登录本次比赛赛事平台进行线上结果提交。结果文件以json文件的格式提交,文件命名为”answer.json”。

Json文件的格式请以「参赛提交」-Files 下下载的样例内容为准。

其内容实际指向的是下图示例JSON中的「Results」下的值:

上图示例的 JSON 包含四个字段,“Match_channel”,“Results”,“Inference_Time”,“GPU_Type”。

其中“Match_channel”表示赛道的标识,缺陷检测的赛道标识为“Defect_Detection”。“Results”表示该赛道的任务结果,包含了每个缺陷检测的图片名称(img_name)和检测信息(detect_info),其中检测信息(detect_info)包含检测类别(label,该赛道的缺陷类别仅包含defect)、检测置信度(score)和检测框(boxes),无缺陷的测试图片检测信息(detect_info)为空list。“Inference_Time”为平均推理时间,计算方式为总推理时间除以图片张数,单位取ms;“GPU_Type”为所用GPU的型号,如RTX 2080Ti。

要求提交的 answer.json 仅需包含上述 RESULTS 字段下的值 (无需包含 RESULTS 这个 KEY),示例请参考「参考提交」-「FILES」下的示例提交文件。

示意:

answer.json:

[

  {"detect_info": [{"label": "defect", "score": 0.705078125, "boxes": [204.0, 69.0, 332.0, 149.0]}], "img_name": "img_0001.jpg"},   

  {"detect_info": [{"label": "defect", "score": 0.79931640625, "boxes": [866.0, 111.0, 984.0, 211.0]}], "img_name": "img_0002.jpg"}

]

E. 提交规则:

初赛阶段参赛队伍每日可最多进行3次线上结果提交,不得超出提交次数限制。

 

F. 评分规则:

参赛队伍完成提交结果后,赛事平台将即刻开始运行评分程序,赛事平台排行榜将根据各参赛队伍得分情况实时更新。

 

G. 排名规则:

排行榜将按照得分从高到低的顺序显示前10位得分情况。

 

2.代码复审提交阶段

A. 时间段:

2021.11.1  ——  2021.11.2

B. 对象:

初赛提交的选手前 10 名

C. 提供的资料:

D. 提交物:

向指定的 gongjiang2021@aispacesh.com 邮箱提交相应材料 (具体要求如更新将进一步通知),主办方技术委员会专家对提交的材料进行审核及模型结果复现,具体要求如下:

(1)源代码提交规范

  1. 编程语言统一使用python3,深度学习框架建议采用pytorch;
  2. 代码结构

  • 建议代码结构采用上述结构;
  • data/dataset.py 包含训练和测试过程对数据集的预处理操作,同时数据采用原始数据存放于data文件夹下(原始数据不需要提交),不建议修改;
  • exps/log 用于保存实验过程的日志(TensorBoard或者txt格式);
  • exps/weights/best.pt 表现最佳的模型权重文件;
  • model/model.py 算法采用的模型框架,可以编写多个模块分开保存;
  • Readme.md 说明文档,对采用的何种算法,训练时采用的超参数,达到多少精度,训练和测试过程的流程以及需要注意的问题等;
  • train.py 训练代码;
  • test.py 测试代码;

 

(2)docker镜像提交规范

  1. 版本要求

docker版本统一为19.03(待定)。

  1. 提交说明

提交的镜像文件需要包含上述内容,以压缩包形式提交。

  • docker_image.tar docker镜像文件;
  • run.sh 镜像启动命令;
  • run_bash.sh 镜像运行命令;
  • Readme.md 说明docker中包含的系统依赖和主要python依赖,以及镜像使用过程中的其它注意事项;

其中run.sh的命令可参考如下:

# docker run --gpus all -it --ipc=host --network host --name team_name images_name:version

run_bash.sh 命令可参考如下:

# docker exec -it team_name /bin/bash

主办方复现结果的客观指标与参赛队伍提交最优结果的客观指标差异在允许的范围内(正负1%。若超出此范围,主办方会与参赛队伍进行再次复核确认相关算法的真实性能),选手的客观成绩将被认定为真实有效。

注意事项:

(1)程序训练时间不得超过24小时,测试时间不得超过1小时,超过限定时间将强行停止相关程序;(时间计算以一张GTX 2080Ti 为例)

(2)参赛队伍有义务协助技术委员会进行模型结果复现;

(3)未在指定时间内提交相关材料的团队视为自动放弃比赛;

(4)出现作弊行为的参赛队伍将被取消比赛成绩,相关排名将顺位录取;

E. 提交规则:

F. 评分规则:

G. 排名规则:

 

3. 代码评审阶段

综合代码复审结果和初赛排名结果,取前 5 名进入决赛,将在 11 10 日进行通知

主办方复现结果的客观指标与参赛队伍提交最优结果的客观指标差异在允许的范围内(正负1%。若超出此范围,主办方会与参赛队伍进行再次复核确认相关算法的真实性能),选手的客观成绩将被认定为真实有效。

注意事项:

(1)程序训练时间不得超过24小时,测试时间不得超过1小时,超过限定时间将强行停止相关程序;(时间计算以一张GTX 2080Ti 为例)

(2)参赛队伍有义务协助技术委员会进行模型结果复现;

(3)未在指定时间内提交相关材料的团队视为自动放弃比赛;

(4)出现作弊行为的参赛队伍将被取消比赛成绩,相关排名将顺位录取;

 

4.决赛阶段

  1. 时间段:

2021.11.11  --  2021.11.17   答辩材料准备

2021.11.19    线下答辩

 

B. 对象:

初赛排行榜前5名的参赛队伍

 

C. 答辩材料提交:

进入决赛的队伍需在2021.11.26  24:00前以邮件的形式向主办方提供决赛答辩材料。指定邮箱为 gongjiang2021@aispacesh.com,具体发送要求待通知。

 

D. 评分规则:

赛事主办方将组织进入决赛的队伍进行现场答辩,主办方邀请的现场评审专家将根据参赛队伍答辩情况进行现场评分并公布。

 

六、评价方式

1.初赛阶段评价方式

通过漏检率、误检率、AP 值三项指标衡量人工智能算法应用效果,采用的计算公式如下:

算法评价值 = AP值*40% + 检出率*30% +(1-误检率)*30%

(1)检出率

计算公式如下:

http://www.aiinnovation.com.cn/updatafile/upfile/20210803/20210803181209_%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20210803181151.png

其中,T为验证图片中标注为目标类设备总个数;

M1为参赛队伍实际检测出来且正确的目标类设备总个数。

(2)误检率

计算公式如下:

http://www.aiinnovation.com.cn/updatafile/upfile/20210803/20210803181225_%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_202108031811511.png

其中,M2为参赛队伍实际检测出来的目标类设备总个数(含正确和错误)。

(3)AP值

AP值为准确率-召回率曲线面积,按VOC标准计算。巡检影像在0.5IoU条件下计算AP值。其中IoU为识别框与标注框的重合度指标,按如下公式计算:

http://www.aiinnovation.com.cn/updatafile/upfile/20210803/20210803181237_%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_202108031811512.png

 

2.初赛结果复核阶段评价方式

通过漏检率、误检率、AP 值、平均计算时间四项指标衡量人工智能算法应用效果,采用的计算公式如下:

算法评价值 = AP值*30% + 检出率*30% +(1-误检率)*30% + 平均计算时间得分*10%。

其中,平均计算时间按照A、B、C、D、E共5个等级进行打个分,详见下表:

 

http://www.aiinnovation.com.cn/updatafile/upfile/20210803/20210803181251_%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_202108031811513.png

平均计算时间 =总计算时间/总图片张数

(在计算平均计算时以GTX2080Ti为测试基础进行效率测试)

 

终选方式

终选方式采用综合评分法,综合得分  =  初赛成绩*权重 1 + 决赛成绩*权重 2 ,综合得分及排名将于答辩环节完成后进行现场发布。

综合排名前3名参赛队伍将直接入围2021上海城市数字化转型“智慧工匠”选树决赛阶段。

七、特别说明

1.参赛选手需配合主办方对模型有效性与代码真实性进行验证,同时自行检查提交材料的正确性,确认无误后再进行提交,主办方不负责对比赛队伍提交的材料进行更改和调整;

2.参赛队伍禁止利用规则、技术漏洞等不良途径提高成绩排名,禁止在比赛中抄袭他人作品、使用小号,一经发现将取消比赛成绩;

3.参赛队伍提交的模型代码必须保证原创,不侵犯第三方知识产权或其他权利,不违反中华人民共和国有关法律;一经发现或经权利人提出并查证,主办方将取消其比赛成绩;

4.主办方提供的任何数据只能用于该比赛的模型训练及测试工作,参赛人员不得将数据用于任何其他用途;

5.参赛作品(包含但不限于算法、模型等)知识产权归参赛队伍所有,比赛主办方有权将参赛作品、作品相关、参赛团队信息用于宣传品、相关出版物、指定及授权媒体发布、官方网站浏览、展览(含巡展)等活动项目,大赛相关组织单位享有优先合作权利;

 

八、赛事奖励

本竞赛获奖选手将晋级进入上海智慧工匠的评选

1.初赛阶段评价方式

通过漏检率、误检率、AP 值三项指标衡量人工智能算法应用效果,采用的计算公式如下:

算法评价值 = AP值*40% + 检出率*30% +(1-误检率)*30%

(1)检出率

计算公式如下:

http://www.aiinnovation.com.cn/updatafile/upfile/20210803/20210803181209_%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20210803181151.png

其中,T为验证图片中标注为目标类设备总个数;

M1为参赛队伍实际检测出来且正确的目标类设备总个数。

(2)误检率

计算公式如下:

http://www.aiinnovation.com.cn/updatafile/upfile/20210803/20210803181225_%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_202108031811511.png

其中,M2为参赛队伍实际检测出来的目标类设备总个数(含正确和错误)。

(3)AP值

AP值为准确率-召回率曲线面积,按VOC标准计算。巡检影像在0.5IoU条件下计算AP值。其中IoU为识别框与标注框的重合度指标,按如下公式计算:

http://www.aiinnovation.com.cn/updatafile/upfile/20210803/20210803181237_%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_202108031811512.png

 

2.初赛结果复核阶段评价方式

通过漏检率、误检率、AP 值、平均计算时间四项指标衡量人工智能算法应用效果,采用的计算公式如下:

算法评价值 = AP值*30% + 检出率*30% +(1-误检率)*30% + 平均计算时间得分*10%。

其中,平均计算时间按照A、B、C、D、E共5个等级进行打个分,详见下表:

 

http://www.aiinnovation.com.cn/updatafile/upfile/20210803/20210803181251_%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_202108031811513.png

平均计算时间 =总计算时间/总图片张数

(在计算平均计算时以GTX2080Ti为测试基础进行效率测试)

 

终选方式

终选方式采用综合评分法,综合得分  =  初赛成绩*权重 1 + 决赛成绩*权重 2 ,综合得分及排名将于答辩环节完成后进行现场发布。

综合排名前3名参赛队伍将直接入围2021上海城市数字化转型“智慧工匠”选树决赛阶段。

赛事规则

  1. 参赛人群:本赛事仅面向已在上海智慧工匠选树平台登记注册的正式选手,不接受其他任何个人或企业的参与。
  2. 账号体系:赛事平台的账号体系以个人为单位,注册平台需要提交个人的姓名、学校/单位、邮箱、手机等信息。上述信息仅用于赛事联络和运营。
  3. 赛事报名:赛题报名以单个账号为单位开展。工匠赛事仅接受个人身份参赛。
  4. 作品提交:作品提交规则按各赛道设定执行。作品提交由单个个人账号执行。参赛作品必须保证原创性,不违反任何中华人民共和国的有关法律,不侵犯任何第三方知识产权或者其他权利;一经发现或经权利人提出并查证,组委会将取消其比赛成绩并进行严肃处理;
  5. 排行规则:排行榜以个人账号为单位,依据所提交的结果评分予以排名。如个人账号从属于某团队,则排行榜在该个人账号旁会显示其团队名称。团队的排名以团队中各团队成员的最高排名为准。
  6. 排名验证:赛题出题方、大赛主办方、平台运营方有权利进一步要求参赛者提交代码、解题思路等并基于此检视判断排行分数的合理性,从而对排名进行修正。各赛事赛题的最终排名应以各赛题所发布的公告或通知为准,线上排行榜仅为参考。参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证。
  7. 晋级规则:赛段晋级名额、方式由各赛题设定。若有参赛者主动弃赛,晋级名次顺延。晋级名额中以个人身份参赛的则个人选手个人晋级,如个人从属于某团队,则该团队整体晋级。
  8. 公平竞技:参赛者禁止在指定考核技术能力的范围外,利用规则漏洞或技术漏洞等不良途径提高成绩排名,禁止在比赛中抄袭他人作品、交换答案、使用多个小号,经发现将取消比赛成绩并严肃处理。
  9. 组织声明:组委会保留对比赛规则进行调整修改的权利、比赛作弊行为的判定权利和处置权利、收回或拒绝授予影响组织及公平性的参赛团队奖项的权利。
  10. 竞赛数据:组委会参赛人员使用提供的数据进行指定赛道的模型训练工作,参赛人员不得将数据用于任何其他用途。
  11. 知识产权:参赛作品(包含但不限于算法、模型等)知识产权归参赛队伍所有,比赛主办方有权将参赛作品、作品相关、参赛团队信息用于宣传品、相关出版物、指定及授权媒体发布、官方网站浏览、展览(含巡展)等活动项目,大赛相关组织单位享有优先合作权利;
  12. 奖励分配:竞赛平台、赛题主办方等均不对物质奖励的分配方式予以负责,物质奖励将颁发给个人参赛者或团队指定的个人。证书等将根据个人参赛和团队参赛予以区分,授予个人或团队(列明个人姓名) 

报名及线上提交阶段

Start: 九月 27, 2021, 中午

概述: 9.27-10.13(拟)工匠选手可在线「报名」本赛事。10 月 15日(拟)将提供训练数据,10月 29 日(拟)前需至少提交一次(请注意每日最多提交 3 次)

代码复审提交

Start: 十月 30, 2021, 午夜

概述: 前 10 名提交选手需按要求提交代码供复审, 截止11 月 2 日(拟)按要求发送至指定邮箱

代码评审阶段

Start: 十一月 3, 2021, 8 a.m.

概述: 综合代码复审结果和初赛排名结果,取前 5 名进入决赛,将在 11 月 10 日(拟)公示

决赛阶段

Start: 十一月 19, 2021, 8 a.m.

概述: 11-17 日提交终选答辩材料,拟 11 月 19日现场决出最终推荐进入工匠选拔的优秀选手

比赛结束

十二月 1, 2021, 8 a.m.

请登陆来参加比赛

登入