比赛

注意：本比赛为上海智慧工匠选树赛事之一，仅面向上海企业的个人参与，请先在http://www.zhihuigongjiang.org/zhgj-2.html官网按要求报名取得参赛资格，再来本平台报名赛题。

一、赛题考官

联通（上海）产业互联网有限公司

与

上海地铁维护保障有限公司

二、赛题背景

为打响“上海制造”品牌，弘扬“工匠精神”，上海大力发展智能制造和工业互联网，推动人工智能技术在工业制造领域的应用发展。

智慧工业质检是人工智能技术的重点应用领域。传统质检方式以人工为主，成本高、效率低、易出错。以计算机视觉为代表的人工智能技术可针对关键工业设备进行智能化巡检及缺陷检测，这将助力企业提升生产效率，逐渐向数字化进行转型。

三、赛题任务

本赛题希望参赛队伍应用计算机视觉相关算法，结合主办方提供的工业部件图片数据集，对工业部件进行缺陷检测。参赛队伍需通过主办方提供的训练集进行模型训练，并在主办方提供的测试集上进行模型测试，将测试结果提交给主办方进行结果评估。主办方依据评分标准对参赛队伍提交的结果进行打分。最终得分前10位的参赛队伍需提供相关代码及文档提供给主办方进行结果复现。

四、赛题数据

1.训练集

A. 数据规模和内容覆盖

（1）训练集文件夹结构

——train

    ——images

    ——annotations

（2）训练集数据规模

训练集数据图片赛事方提供1180张（1170张无缺陷样本和10张缺陷样本），参赛者可根据需要自行扩充，其中有10张缺陷样本（提供标注文件，没有提供标注文件的为无缺陷样本）。

B. 数据内容示例：

(1)annotations文件夹说明

annotations共有10个xml文件，标注格式可根据需要进行转换。其中，标注xml文件的坐标关键点（xmin,ymin,xmax,ymax）分别对应目标边界框的左上角坐标和右下角坐标，如果一张图中有多个缺陷也会呈现多个<object></object>，xml核心数据为以下图所示：

(2)images文件夹说明

正常样本图片：表面光滑无缺陷，反光处可忽略。

缺陷样本图片：图片中的标注框的位置数值与上面提到的xml标注文件坐标值对应。

样例1

样例2

2.测试集

A. 数据规模和内容覆盖

（1）测试集文件夹结构

——test

    ——images

（2）测试集数据规模

测试集数据由主办方提供，共包含1000张图片，参赛队伍需提交1000张测试样本的识别结果文件。

B. 数据内容示例：

无

五、赛题赛程和提交要求

1.初赛阶段

A. 时间段：

2021.9.27  -- 2021.10.13，线上报名（请点击「参赛提交」，完成报名[平台会对照工匠报名信息，审核通过进入赛事报名]）

2021.10.15 -- 2021.10.29 ，线上提交

B. 对象：

所有报名参加该赛道的参赛队伍

C. 数据获取：

参赛队伍可在 10 月 15 日起登陆本次比赛赛事平台（ailab.aispacesh.com/gongjiang/）下载主办方提供的训练集及测试集。请选手自行线下完成模型训练，并基于训练后的模型输入测试集产出结果文件。

同时可登陆本次比赛赛事平台（地址：ailab.aispaces.com/gongjiang/）下载主办方提供的结果提交示例文件。

（请注意，因代码评审阶段有关于时间的限制，因此请各参赛队伍开发模型时，将训练时间控制在24小时以内，测试时间控制在1小时以内，时间计算以一张GTX 2080Ti 为例）

D. 提交物：

参赛队伍应于2021.10.29 之前登陆本次比赛赛事平台（ailab.aispacesh.com/gongjiang/）至少进行一次初赛结果提交。

参赛队伍通过登录本次比赛赛事平台进行线上结果提交。结果文件以json文件的格式提交,文件命名为”answer.json”。

Json文件的格式请以「参赛提交」-Files 下下载的样例内容为准。

其内容实际指向的是下图示例JSON中的「Results」下的值：

上图示例的 JSON 包含四个字段，“Match_channel”，“Results”，“Inference_Time”,“GPU_Type”。

其中“Match_channel”表示赛道的标识，缺陷检测的赛道标识为“Defect_Detection”。“Results”表示该赛道的任务结果，包含了每个缺陷检测的图片名称（img_name）和检测信息（detect_info），其中检测信息（detect_info）包含检测类别（label，该赛道的缺陷类别仅包含defect）、检测置信度（score）和检测框（boxes），无缺陷的测试图片检测信息（detect_info）为空list。“Inference_Time”为平均推理时间，计算方式为总推理时间除以图片张数，单位取ms；“GPU_Type”为所用GPU的型号，如RTX 2080Ti。

要求提交的 answer.json 仅需包含上述 RESULTS 字段下的值 （无需包含 RESULTS 这个 KEY），示例请参考「参考提交」-「FILES」下的示例提交文件。

示意：

answer.json:

[

  {"detect_info": [{"label": "defect", "score": 0.705078125, "boxes": [204.0, 69.0, 332.0, 149.0]}], "img_name": "img_0001.jpg"},   

  {"detect_info": [{"label": "defect", "score": 0.79931640625, "boxes": [866.0, 111.0, 984.0, 211.0]}], "img_name": "img_0002.jpg"}

]

E. 提交规则：

初赛阶段参赛队伍每日可最多进行3次线上结果提交，不得超出提交次数限制。

F. 评分规则：

参赛队伍完成提交结果后，赛事平台将即刻开始运行评分程序，赛事平台排行榜将根据各参赛队伍得分情况实时更新。

G. 排名规则：

排行榜将按照得分从高到低的顺序显示前10位得分情况。

2.代码复审提交阶段

A. 时间段：

2021.11.1  ——  2021.11.2

B. 对象：

初赛提交的选手前 10 名

C. 提供的资料：

无

D. 提交物：

向指定的 gongjiang2021@aispacesh.com 邮箱提交相应材料 （具体要求如更新将进一步通知），主办方技术委员会专家对提交的材料进行审核及模型结果复现，具体要求如下：

（1）源代码提交规范

50. 编程语言统一使用python3，深度学习框架建议采用pytorch；
50. 代码结构

• 建议代码结构采用上述结构；
• data/dataset.py 包含训练和测试过程对数据集的预处理操作，同时数据采用原始数据存放于data文件夹下（原始数据不需要提交），不建议修改；
• exps/log 用于保存实验过程的日志（TensorBoard或者txt格式）；
• exps/weights/best.pt 表现最佳的模型权重文件；
• model/model.py 算法采用的模型框架，可以编写多个模块分开保存；
• Readme.md 说明文档，对采用的何种算法，训练时采用的超参数，达到多少精度，训练和测试过程的流程以及需要注意的问题等；
• train.py 训练代码；
• test.py 测试代码；

（2）docker镜像提交规范

50. 版本要求

docker版本统一为19.03(待定)。

50. 提交说明

提交的镜像文件需要包含上述内容，以压缩包形式提交。

• docker_image.tar docker镜像文件；
• run.sh 镜像启动命令；
• run_bash.sh 镜像运行命令；
• Readme.md 说明docker中包含的系统依赖和主要python依赖，以及镜像使用过程中的其它注意事项；

其中run.sh的命令可参考如下：

# docker run --gpus all -it --ipc=host --network host --name team_name images_name:version

run_bash.sh 命令可参考如下：

# docker exec -it team_name /bin/bash

主办方复现结果的客观指标与参赛队伍提交最优结果的客观指标差异在允许的范围内（正负1%。若超出此范围，主办方会与参赛队伍进行再次复核确认相关算法的真实性能），选手的客观成绩将被认定为真实有效。

注意事项：

（1）程序训练时间不得超过24小时，测试时间不得超过1小时，超过限定时间将强行停止相关程序；（时间计算以一张GTX 2080Ti 为例）

（2）参赛队伍有义务协助技术委员会进行模型结果复现；

（3）未在指定时间内提交相关材料的团队视为自动放弃比赛；

（4）出现作弊行为的参赛队伍将被取消比赛成绩，相关排名将顺位录取；

E. 提交规则：

无

F. 评分规则：

无

G. 排名规则：

无

3. 代码评审阶段

综合代码复审结果和初赛排名结果，取前 5 名进入决赛，将在 11 月 10 日进行通知

主办方复现结果的客观指标与参赛队伍提交最优结果的客观指标差异在允许的范围内（正负1%。若超出此范围，主办方会与参赛队伍进行再次复核确认相关算法的真实性能），选手的客观成绩将被认定为真实有效。

注意事项：

（1）程序训练时间不得超过24小时，测试时间不得超过1小时，超过限定时间将强行停止相关程序；（时间计算以一张GTX 2080Ti 为例）

（2）参赛队伍有义务协助技术委员会进行模型结果复现；

（3）未在指定时间内提交相关材料的团队视为自动放弃比赛；

（4）出现作弊行为的参赛队伍将被取消比赛成绩，相关排名将顺位录取；

4.决赛阶段

1. 时间段：

2021.11.11  --  2021.11.17   答辩材料准备

2021.11.19    线下答辩

B. 对象：

初赛排行榜前5名的参赛队伍

C. 答辩材料提交：

进入决赛的队伍需在2021.11.26  24:00前以邮件的形式向主办方提供决赛答辩材料。指定邮箱为 gongjiang2021@aispacesh.com，具体发送要求待通知。

D. 评分规则：

赛事主办方将组织进入决赛的队伍进行现场答辩，主办方邀请的现场评审专家将根据参赛队伍答辩情况进行现场评分并公布。

六、评价方式

1.初赛阶段评价方式

通过漏检率、误检率、AP 值三项指标衡量人工智能算法应用效果，采用的计算公式如下：

算法评价值 = AP值*40% + 检出率*30% +（1-误检率）*30%

（1）检出率

计算公式如下：

其中，T为验证图片中标注为目标类设备总个数；

M1为参赛队伍实际检测出来且正确的目标类设备总个数。

（2）误检率

计算公式如下：

其中，M2为参赛队伍实际检测出来的目标类设备总个数（含正确和错误）。

（3）AP值

AP值为准确率-召回率曲线面积，按VOC标准计算。巡检影像在0.5IoU条件下计算AP值。其中IoU为识别框与标注框的重合度指标，按如下公式计算：

2.初赛结果复核阶段评价方式

通过漏检率、误检率、AP 值、平均计算时间四项指标衡量人工智能算法应用效果，采用的计算公式如下：

算法评价值 = AP值*30% + 检出率*30% +（1-误检率）*30% + 平均计算时间得分*10%。

其中，平均计算时间按照A、B、C、D、E共5个等级进行打个分，详见下表：

平均计算时间 =总计算时间/总图片张数

（在计算平均计算时以GTX2080Ti为测试基础进行效率测试）

终选方式

终选方式采用综合评分法，综合得分  =  初赛成绩*权重 1 + 决赛成绩*权重 2 ，综合得分及排名将于答辩环节完成后进行现场发布。

综合排名前3名参赛队伍将直接入围2021上海城市数字化转型“智慧工匠”选树决赛阶段。

七、特别说明

1.参赛选手需配合主办方对模型有效性与代码真实性进行验证，同时自行检查提交材料的正确性，确认无误后再进行提交，主办方不负责对比赛队伍提交的材料进行更改和调整；

2.参赛队伍禁止利用规则、技术漏洞等不良途径提高成绩排名，禁止在比赛中抄袭他人作品、使用小号，一经发现将取消比赛成绩；

3.参赛队伍提交的模型代码必须保证原创，不侵犯第三方知识产权或其他权利，不违反中华人民共和国有关法律；一经发现或经权利人提出并查证，主办方将取消其比赛成绩；

4.主办方提供的任何数据只能用于该比赛的模型训练及测试工作，参赛人员不得将数据用于任何其他用途；

5.参赛作品(包含但不限于算法、模型等)知识产权归参赛队伍所有，比赛主办方有权将参赛作品、作品相关、参赛团队信息用于宣传品、相关出版物、指定及授权媒体发布、官方网站浏览、展览（含巡展）等活动项目，大赛相关组织单位享有优先合作权利；

八、赛事奖励

本竞赛获奖选手将晋级进入上海智慧工匠的评选