比赛

注意：本比赛为上海智慧工匠选树赛事之一，仅面向上海企业的个人参与，请先在http://www.zhihuigongjiang.org/zhgj-2.html官网按要求报名取得参赛资格，再来本平台报名赛题。

一、赛题考官

联通（上海）产业互联网有限公司

二、赛题背景

上海生活数字化转型工作将突出“以人为本”的核心理念，到2023年建成至少50个生活数字化转型标杆场景，在医疗、教育、养老、出行等领域全面升级市民体验。

其中，数字化转型标杆场景的打造很大程度上依赖于人工智能技术的加持。在一定区域内精准判别人体姿态是实现智能预判、智能应答等后续民生服务的重要前提。

三、赛题任务

本赛题包含两个子任务，分别为人体关键点检测和行为分类。其中，行为分类的方法请采用“先检测关键点，并通过关键点判断人体行为”的方式来进行处理。

参赛队伍可以自行寻找人体关键点数据集进行模型训练。并在主办方提供的测试集上进行模型测试，将测试结果提交给主办方进行结果评估。主办方依据评分标准对参赛队伍提交的结果进行打分。最终得分前10位的参赛队伍需提供相关代码、模型及文档提供给主办方进行结果复现。

四、赛题数据

1.训练集 

本赛题不指定训练集，参赛队伍可以自行选择公开的人体关键点检测数据集进行模型训练。

（如[coco数据集](https://cocodataset.org/)）

2.测试集

A. 数据规模和内容覆盖

由于本赛道包含两个子任务，测试集也包含两个部分，分别为：

Data:

——videos

——keypoints

其中，videos文件夹包含34个短视频，每个5秒钟左右，包含了站立，坐，行走，奔跑，打架，摔倒六种行为，选手需要检测每一帧图片中包含哪些行为。Keypoints 文件夹包含了900张包含人体的图片，选手需要检测每张图片上每个人体的所有关键点。

B. 数据内容示例：

数据示例如下（分别为打架，跑步，坐立，站立，摔倒，步行）：

五、赛题赛程和提交要求

1.初赛阶段

A.时间段：

2021.9.27  -- 2021.10.13，线上报名（请点击「参赛提交」，完成报名[平台会对照工匠报名信息，审核通过进入赛事报名]）

2021.10.15 -- 2021.10.29 ，线上提交

B. 对象：

所有报名参加该赛道的参赛队伍

C. 数据获取：

参赛队伍可在 10 月 15日（拟）起登陆本次比赛赛事平台（ailab.aispacesh.com/gongjiang/）下载主办方提供的测试集数据。同时可登陆本次比赛赛事平台（ailab.aispacesh.com/gongjiang/）下载主办方提供的结果提交示例文件。

D. 提交物：

参赛队伍应于2021.10.29前登陆本次比赛赛事平台（地址：ailab.aispaces.com/gongjiang/）至少进行一次初赛结果提交。

参赛队伍通过登录本次比赛赛事平台进行线上结果提交。结果文件需压缩为一个 ZIP 文件，其内包括两个文件，均为json文件,文件命名分别为”Action_Classify.json”、“Keypoint_Detection.json”。

结果文件大小不得超过10M。各自的格式和内容要求请见下面的详细描述。

两个 json 文件应封装入一个 zip 包，从而在平台上上传提交，接受自动化的评审。请注意压缩包应确保解压后，直接在根目录处获得两个 json 文件，如文件外嵌套一层目录文件夹，则会导致系统报错。

（1）行为分类

行为分类的结果Json格式的样例如下所示：

结果包含两个字段，“Match_channel”，“Results”。其中“Match_channel”表示赛道的标识，行为分类的赛道标识为“Action_Classify”。“Score_list”表示各个行为（测试集一共包含六中行为：“stand”，“sit”，“walk”，“run”，“fall”，“fight”）的概率分数列表，概率分数表示该帧包含本行为的概率，大小在0到1之间，概率分数列表的长度等于所有测试视频的帧数之和，且各个行为的概率分数列表的长度应该相同。举例来说，假如测试集一共包含两个视频，分别为video1,100帧，video2,150帧，则结果列表的长度为250，且0-100为video1的结果，100-250为video2的结果。注意，之所以将所有的行为分开是考虑到有些视频帧中既有a行为，又有b行为。

（2）人体关键点检测

人体关键点检测的结果json格式样例如下：

人体关键点检测任务的结果包含两个字段，“Match_channel”，“Keypoint_result”。其中“Match_channel”表示赛道的标识，人体关键点检测的赛道标识为“Keypoint_Detection”。“Keypoint_result”表示所有图片的关键点检测结果，用键值对表示，图片名为key，结果为value。其中关键点检测的结果列表为长度等于13×3，其中13表示13个人体关键点，顺序为：“head”、“left_shoulder”、“left_elbow”、“left_wrist”、“left_hip”、“left_knee”、“left_ankle”、“right_shoulder”、

“right_elbow”、“right_wrist”、“right_hip”、“right_knee”、“right_ankle”

（检测结果中的13个关键点请严格按照该顺序排列）；3表示每个关键点包含三个属性，x，y，v，x和y表示关键点的坐标，v表示关键点是否标注，1为标注，0位未标注。比如某个关键点的属性为128,77,1，表示该关键点坐标位于128,77，且进行了标注（对于未检测到的关键点也请按照(x,y,v)=(0,0,0)的格式填充，保证结果长度和ground truth一致）。

E. 提交规则：

初赛阶段参赛队伍每日可最多进行三次线上结果提交，不得超出提交次数限制。

F. 评分规则：

参赛队伍完成提交结果后，赛事平台将即刻开始运行评分程序，赛事平台排行榜将根据各参赛队伍得分情况实时更新。

由于本赛道包含两个子任务，初赛分数将取两者的平均值，即：

S=0.5×mAUC+0.5×mAP

其中，mAUC表示每种行为分类的AUC的加权平均，mAP表示关键点检测的mAP，即OKS的阈值从0.5取到0.95的AP的平均值。

G. 排名规则：

排行榜将按照得分从高到低的顺序显示前10位得分情况。

2.代码复核提交阶段

A. 时间段：

2021.11.1 -- 2021.11.2

B. 对象：

初赛提交的参赛者。

C. 提供的资料：

无

D. 提交物：

向指定的 gongjiang2021@aispacesh.com 邮箱提交相应材料 （具体要求如更新将进一步通知），主办方技术委员会专家对提交的材料进行审核及模型结果复现，具体要求如下：

（1）源代码提交规范

50. 编程语言统一使用python3，深度学习框架建议采用pytorch；
50. 代码结构

• 建议代码结构采用上述结构；
• requirements.txt 代码引用了的Python库及其版本需求；
• data/dataset.py 包含训练和测试过程对数据集的预处理操作，同时数据采用原始数据存放于data文件夹下（原始数据不需要提交），不建议修改；
• exps/log 用于保存实验过程的日志（TensorBoard或者txt格式）；
• exps/weights/best.pt 表现最佳的模型权重文件；
• model/model.py 算法采用的模型框架，可以编写多个模块分开保存；
• Readme.md 说明文档，对采用的何种算法，训练时采用的超参数，达到多少精度，训练和测试过程的流程以及需要注意的问题等；
• train.py 训练代码；
• test.py 测试代码；

（2）docker镜像提交规范

    主办方会根据选手代码中的requirement.txt 文件进行环境搭建，如果环境搭建出现问题的，需要选手提供docker镜像。

l  版本要求

docker版本统一为19.03。

提交说明

提交的镜像文件需要包含上述内容，以压缩包形式提交。

• docker_image.tar docker镜像文件；
• run.sh 镜像启动命令；
• run_bash.sh 镜像运行命令；
• Readme.md 说明docker中包含的系统依赖和主要python依赖，以及镜像使用过程中的其它注意事项（也可选择PPT形式提供）；

其中run.sh的命令可参考如下：

# docker run --gpus all -it --ipc=host --network host --name team_name images_name:version

run_bash.sh 命令可参考如下：

# docker exec -it team_name /bin/bash

主办方复现结果的客观指标与参赛队伍提交最优结果的客观指标差异在允许的范围内（正负1%。若超出此范围，主办方会与参赛队伍进行再次复核确认相关算法的真实性能），选手的客观成绩将被认定为真实有效。

注意事项：

（1）参赛队伍有义务协助技术委员会进行模型结果复现；

（2）未在指定时间内提交相关材料的团队视为自动放弃比赛；

（3）出现作弊行为的参赛队伍将被取消比赛成绩，相关排名将顺位录取；

E. 提交规则：

无

F. 评分规则：

无

G. 排名规则：

无

3.代码复审阶段

综合代码复审结果和初赛排名结果，取前 5 名进入决赛，将在 11 月 10 日进行通知

主办方复现结果的客观指标与参赛队伍提交最优结果的客观指标差异在允许的范围内（正负1%。若超出此范围，主办方会与参赛队伍进行再次复核确认相关算法的真实性能），选手的客观成绩将被认定为真实有效。

注意事项：

（1）参赛队伍有义务协助技术委员会进行模型结果复现；

（2）未在指定时间内提交相关材料的团队视为自动放弃比赛；

（3）出现作弊行为的参赛队伍将被取消比赛成绩，相关排名将顺位录取；

4.决赛阶段

A. 时间段：

2021.11.11    —— 2021.11.17    答辩材料准备

2021.11.19                                   线下答辩

B. 对象：

初赛排行榜前5名的参赛队伍

C. 答辩材料提交：

进入决赛的队伍需在2021.11.26  24:00前以邮件的形式向主办方邮箱 gongjiang2021@aispacesh.com 提供决赛答辩材料。

D. 提交物：

进入决赛的队伍可在2021.11.11 8:00后以邮件的形式向主办方提供决赛答辩材料。

E. 评分规则：

赛事主办方将组织进入决赛的队伍进行现场答辩，主办方邀请的现场评审专家将根据参赛队伍答辩情况进行现场评分并公布。

六、评价方式

1.初赛评价方式

由于本赛道包含两个子任务，初赛分数将取两者的平均值，即：

S=0.5×mAUC+0.5×mAP

其中，mAUC表示每种行为分类的AUC的加权平均，mAP表示关键点检测的mAP，即OKS的阈值从0.5取到0.95的AP的平均值。

2.初赛复核评价方式

由于本赛道包含两个子任务，初赛分数将取两者的平均值，即：

S=0.5×mAUC+0.5×mAP

SCORE = 0.9 * S + 0.1 * TIME

TIME= TminT

3.决赛评价方式

终选方式采用综合评分法，综合得分  =  初赛成绩*权重 1 + 决赛成绩* 权重 2 ，综合得分及排名将于答辩环节完成后进行现场发布。

七、特别说明

1.参赛选手需配合主办方对模型有效性与代码真实性进行验证，同时自行检查提交材料的正确性，确认无误后再进行提交，主办方不负责对比赛队伍提交的材料进行更改和调整；

2.参赛队伍禁止利用规则、技术漏洞等不良途径提高成绩排名，禁止在比赛中抄袭他人作品、使用小号，一经发现将取消比赛成绩；

3.参赛队伍提交的模型代码必须保证原创，不侵犯第三方知识产权或其他权利，不违反中华人民共和国有关法律；一经发现或经权利人提出并查证，主办方将取消其比赛成绩；

4.主办方提供的任何数据只能用于该比赛的模型训练及测试工作，参赛人员不得将数据用于任何其他用途；

5.参赛作品(包含但不限于算法、模型等)知识产权归参赛队伍所有，比赛主办方有权将参赛作品、作品相关、参赛团队信息用于宣传品、相关出版物、指定及授权媒体发布、官方网站浏览、展览（含巡展）等活动项目，大赛相关组织单位享有优先合作权利；

八、赛事奖励

本竞赛优秀选手将晋级上海智慧工匠的评选