2021“智慧工匠”智能算法竞赛之人体姿态行为分析

主办方: 联通(上海)产业互联网有限公司 - 当前服务器时间 三月 29, 2024, 9:54 p.m. UTC+8
参赛提交

初始阶段

报名及线上提交阶段
九月 27, 2021, 中午 UTC+8

终止阶段

Competition Ends
十二月 1, 2021, 8 a.m. UTC+8

注意:本比赛为上海智慧工匠选树赛事之一,仅面向上海企业的个人参与,请先在http://www.zhihuigongjiang.org/zhgj-2.html官网按要求报名取得参赛资格,再来本平台报名赛题。

 

一、赛题考官

联通(上海)产业互联网有限公司

二、赛题背景

上海生活数字化转型工作将突出“以人为本”的核心理念,到2023年建成至少50个生活数字化转型标杆场景,在医疗、教育、养老、出行等领域全面升级市民体验。

其中,数字化转型标杆场景的打造很大程度上依赖于人工智能技术的加持。在一定区域内精准判别人体姿态是实现智能预判、智能应答等后续民生服务的重要前提。

三、赛题任务

本赛题包含两个子任务,分别为人体关键点检测和行为分类。其中,行为分类的方法请采用“先检测关键点,并通过关键点判断人体行为”的方式来进行处理。

参赛队伍可以自行寻找人体关键点数据集进行模型训练。并在主办方提供的测试集上进行模型测试,将测试结果提交给主办方进行结果评估。主办方依据评分标准对参赛队伍提交的结果进行打分。最终得分前10位的参赛队伍需提供相关代码、模型及文档提供给主办方进行结果复现。

四、赛题数据

1.训练集 

本赛题不指定训练集,参赛队伍可以自行选择公开的人体关键点检测数据集进行模型训练。

(如[coco数据集](https://cocodataset.org/))

2.测试集

A. 数据规模和内容覆盖

由于本赛道包含两个子任务,测试集也包含两个部分,分别为:

Data:

——videos

——keypoints

其中,videos文件夹包含34个短视频,每个5秒钟左右,包含了站立,坐,行走,奔跑,打架,摔倒六种行为,选手需要检测每一帧图片中包含哪些行为。Keypoints 文件夹包含了900张包含人体的图片,选手需要检测每张图片上每个人体的所有关键点。

B. 数据内容示例:

数据示例如下(分别为打架,跑步,坐立,站立,摔倒,步行):

五、赛题赛程和提交要求

1.初赛阶段

A.时间段:

2021.9.27  -- 2021.10.13,线上报名(请点击「参赛提交」,完成报名[平台会对照工匠报名信息,审核通过进入赛事报名])

2021.10.15 -- 2021.10.29 ,线上提交

B. 对象:

所有报名参加该赛道的参赛队伍

C. 数据获取:

参赛队伍可在 10 月 15日(拟)起登陆本次比赛赛事平台(ailab.aispacesh.com/gongjiang/)下载主办方提供的测试集数据。同时可登陆本次比赛赛事平台(ailab.aispacesh.com/gongjiang/)下载主办方提供的结果提交示例文件。

D. 提交物:

参赛队伍应于2021.10.29前登陆本次比赛赛事平台(地址:ailab.aispaces.com/gongjiang/)至少进行一次初赛结果提交。

参赛队伍通过登录本次比赛赛事平台进行线上结果提交。结果文件需压缩为一个 ZIP 文件,其内包括两个文件,均为json文件,文件命名分别为”Action_Classify.json”、“Keypoint_Detection.json”。

结果文件大小不得超过10M。各自的格式和内容要求请见下面的详细描述。

两个 json 文件应封装入一个 zip 包,从而在平台上上传提交,接受自动化的评审。请注意压缩包应确保解压后,直接在根目录处获得两个 json 文件,如文件外嵌套一层目录文件夹,则会导致系统报错。

(1)行为分类

行为分类的结果Json格式的样例如下所示:

结果包含两个字段,“Match_channel”,“Results”。其中“Match_channel”表示赛道的标识,行为分类的赛道标识为“Action_Classify”。“Score_list”表示各个行为(测试集一共包含六中行为:“stand”,“sit”,“walk”,“run”,“fall”,“fight”)的概率分数列表,概率分数表示该帧包含本行为的概率,大小在0到1之间,概率分数列表的长度等于所有测试视频的帧数之和,且各个行为的概率分数列表的长度应该相同。举例来说,假如测试集一共包含两个视频,分别为video1,100帧,video2,150帧,则结果列表的长度为250,且0-100为video1的结果,100-250为video2的结果。注意,之所以将所有的行为分开是考虑到有些视频帧中既有a行为,又有b行为。

(2)人体关键点检测

人体关键点检测的结果json格式样例如下:

人体关键点检测任务的结果包含两个字段,“Match_channel”,“Keypoint_result”。其中“Match_channel”表示赛道的标识,人体关键点检测的赛道标识为“Keypoint_Detection”。“Keypoint_result”表示所有图片的关键点检测结果,用键值对表示,图片名为key,结果为value。其中关键点检测的结果列表为长度等于13×3,其中13表示13个人体关键点,顺序为:“head”、“left_shoulder”、“left_elbow”、“left_wrist”、“left_hip”、“left_knee”、“left_ankle”、“right_shoulder”、

“right_elbow”、“right_wrist”、“right_hip”、“right_knee”、“right_ankle”

检测结果中的13个关键点请严格按照该顺序排列);3表示每个关键点包含三个属性,x,y,v,x和y表示关键点的坐标,v表示关键点是否标注,1为标注,0位未标注。比如某个关键点的属性为128,77,1,表示该关键点坐标位于128,77,且进行了标注(对于未检测到的关键点也请按照(x,y,v)=(0,0,0)的格式填充,保证结果长度和ground truth一致)。

E. 提交规则:

初赛阶段参赛队伍每日可最多进行三次线上结果提交,不得超出提交次数限制。

F. 评分规则:

参赛队伍完成提交结果后,赛事平台将即刻开始运行评分程序,赛事平台排行榜将根据各参赛队伍得分情况实时更新。

由于本赛道包含两个子任务,初赛分数将取两者的平均值,即:

S=0.5×mAUC+0.5×mAP

其中,mAUC表示每种行为分类的AUC的加权平均,mAP表示关键点检测的mAP,即OKS的阈值从0.5取到0.95的AP的平均值。

G. 排名规则:

排行榜将按照得分从高到低的顺序显示前10位得分情况。

 

2.代码复核提交阶段

A. 时间段:

2021.11.1 -- 2021.11.2

B. 对象:

初赛提交的参赛者。

C. 提供的资料:

D. 提交物:

向指定的 gongjiang2021@aispacesh.com 邮箱提交相应材料 (具体要求如更新将进一步通知),主办方技术委员会专家对提交的材料进行审核及模型结果复现,具体要求如下

(1)源代码提交规范

  1. 编程语言统一使用python3,深度学习框架建议采用pytorch;
  2. 代码结构

  • 建议代码结构采用上述结构;
  • requirements.txt 代码引用了的Python库及其版本需求;
  • data/dataset.py 包含训练和测试过程对数据集的预处理操作,同时数据采用原始数据存放于data文件夹下(原始数据不需要提交),不建议修改;
  • exps/log 用于保存实验过程的日志(TensorBoard或者txt格式);
  • exps/weights/best.pt 表现最佳的模型权重文件;
  • model/model.py 算法采用的模型框架,可以编写多个模块分开保存;
  • Readme.md 说明文档,对采用的何种算法,训练时采用的超参数,达到多少精度,训练和测试过程的流程以及需要注意的问题等;
  • train.py 训练代码;
  • test.py 测试代码;

 

(2)docker镜像提交规范

    主办方会根据选手代码中的requirement.txt 文件进行环境搭建,如果环境搭建出现问题的,需要选手提供docker镜像。

l  版本要求

docker版本统一为19.03。

提交说明

 

提交的镜像文件需要包含上述内容,以压缩包形式提交。

 

  • docker_image.tar docker镜像文件;
  • run.sh 镜像启动命令;
  • run_bash.sh 镜像运行命令;
  • Readme.md 说明docker中包含的系统依赖和主要python依赖,以及镜像使用过程中的其它注意事项(也可选择PPT形式提供);

 

其中run.sh的命令可参考如下:

 

# docker run --gpus all -it --ipc=host --network host --name team_name images_name:version

 

run_bash.sh 命令可参考如下:

 

# docker exec -it team_name /bin/bash

 

 

主办方复现结果的客观指标与参赛队伍提交最优结果的客观指标差异在允许的范围内(正负1%。若超出此范围,主办方会与参赛队伍进行再次复核确认相关算法的真实性能),选手的客观成绩将被认定为真实有效。

注意事项:

(1)参赛队伍有义务协助技术委员会进行模型结果复现;

(2)未在指定时间内提交相关材料的团队视为自动放弃比赛;

(3)出现作弊行为的参赛队伍将被取消比赛成绩,相关排名将顺位录取;

E. 提交规则:

F. 评分规则:

G. 排名规则:

 

3.代码复审阶段

综合代码复审结果和初赛排名结果,取前 5 名进入决赛,将在 11 10 日进行通知

主办方复现结果的客观指标与参赛队伍提交最优结果的客观指标差异在允许的范围内(正负1%。若超出此范围,主办方会与参赛队伍进行再次复核确认相关算法的真实性能),选手的客观成绩将被认定为真实有效。

注意事项:

(1)参赛队伍有义务协助技术委员会进行模型结果复现;

(2)未在指定时间内提交相关材料的团队视为自动放弃比赛;

(3)出现作弊行为的参赛队伍将被取消比赛成绩,相关排名将顺位录取;

4.决赛阶段

A. 时间段:

2021.11.11    —— 2021.11.17    答辩材料准备

2021.11.19                                   线下答辩

 

B. 对象:

初赛排行榜前5名的参赛队伍

 

C. 答辩材料提交:

进入决赛的队伍需在2021.11.26  24:00前以邮件的形式向主办方邮箱 gongjiang2021@aispacesh.com 提供决赛答辩材料。

 

D. 提交物:

进入决赛的队伍可在2021.11.11 8:00后以邮件的形式向主办方提供决赛答辩材料。

 

E. 评分规则:

赛事主办方将组织进入决赛的队伍进行现场答辩,主办方邀请的现场评审专家将根据参赛队伍答辩情况进行现场评分并公布。

 

六、评价方式

1.初赛评价方式

由于本赛道包含两个子任务,初赛分数将取两者的平均值,即:

S=0.5×mAUC+0.5×mAP

其中,mAUC表示每种行为分类的AUC的加权平均,mAP表示关键点检测的mAP,即OKS的阈值从0.5取到0.95的AP的平均值。

2.初赛复核评价方式

由于本赛道包含两个子任务,初赛分数将取两者的平均值,即:

S=0.5×mAUC+0.5×mAP

SCORE = 0.9 * S + 0.1 * TIME

TIME= TminT

其中,mAUC表示每种行为分类的AUC的加权平均;AP表示关键点检测的mAP,即OKS的阈值从0.5取到0.95AP的平均值TIME代表性能评分,T表示单帧图片平均推理时间,Tmin 表示所有入围选手的结果中,T的最小值。

 

3.决赛评价方式

终选方式采用综合评分法,综合得分  =  初赛成绩*权重 1 + 决赛成绩* 权重 2 ,综合得分及排名将于答辩环节完成后进行现场发布。

七、特别说明

1.参赛选手需配合主办方对模型有效性与代码真实性进行验证,同时自行检查提交材料的正确性,确认无误后再进行提交,主办方不负责对比赛队伍提交的材料进行更改和调整;

2.参赛队伍禁止利用规则、技术漏洞等不良途径提高成绩排名,禁止在比赛中抄袭他人作品、使用小号,一经发现将取消比赛成绩;

3.参赛队伍提交的模型代码必须保证原创,不侵犯第三方知识产权或其他权利,不违反中华人民共和国有关法律;一经发现或经权利人提出并查证,主办方将取消其比赛成绩;

4.主办方提供的任何数据只能用于该比赛的模型训练及测试工作,参赛人员不得将数据用于任何其他用途;

5.参赛作品(包含但不限于算法、模型等)知识产权归参赛队伍所有,比赛主办方有权将参赛作品、作品相关、参赛团队信息用于宣传品、相关出版物、指定及授权媒体发布、官方网站浏览、展览(含巡展)等活动项目,大赛相关组织单位享有优先合作权利;

八、赛事奖励

本竞赛优秀选手将晋级上海智慧工匠的评选

评价方式

1.初赛评价方式

由于本赛道包含两个子任务,初赛分数将取两者的平均值,即:

S=0.5×mAUC+0.5×mAP

其中,mAUC表示每种行为分类的AUC的加权平均,mAP表示关键点检测的mAP,即OKS的阈值从0.5取到0.95的AP的平均值。

2.初赛复核评价方式

由于本赛道包含两个子任务,初赛分数将取两者的平均值,即:

S=0.5×mAUC+0.5×mAP

SCORE = 0.9 * S + 0.1 * TIME

TIME= TminT

其中,mAUC表示每种行为分类的AUC的加权平均;AP表示关键点检测的mAP,即OKS的阈值从0.5取到0.95AP的平均值TIME代表性能评分,T表示单帧图片平均推理时间,Tmin 表示所有入围选手的结果中,T的最小值。

 

3.决赛评价方式

终选方式采用综合评分法,综合得分  =  初赛成绩*权重 1+ 决赛成绩* 权重 2 ,综合得分及排名将于答辩环节完成后进行现场发布。

  1. 参赛人群:本赛事仅面向已在上海智慧工匠选树平台登记注册的正式选手,不接受其他任何个人或企业的参与。
  2. 账号体系:赛事平台的账号体系以个人为单位,注册平台需要提交个人的姓名、学校/单位、邮箱、手机等信息。上述信息仅用于赛事联络和运营。
  3. 赛事报名:赛题报名以单个账号为单位开展。工匠赛事仅接受个人身份参赛。
  4. 作品提交:作品提交规则按各赛道设定执行。作品提交由单个个人账号执行。参赛作品必须保证原创性,不违反任何中华人民共和国的有关法律,不侵犯任何第三方知识产权或者其他权利;一经发现或经权利人提出并查证,组委会将取消其比赛成绩并进行严肃处理;
  5. 排行规则:排行榜以个人账号为单位,依据所提交的结果评分予以排名。如个人账号从属于某团队,则排行榜在该个人账号旁会显示其团队名称。团队的排名以团队中各团队成员的最高排名为准。
  6. 排名验证:赛题出题方、大赛主办方、平台运营方有权利进一步要求参赛者提交代码、解题思路等并基于此检视判断排行分数的合理性,从而对排名进行修正。各赛事赛题的最终排名应以各赛题所发布的公告或通知为准,线上排行榜仅为参考。参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证。
  7. 晋级规则:赛段晋级名额、方式由各赛题设定。若有参赛者主动弃赛,晋级名次顺延。晋级名额中以个人身份参赛的则个人选手个人晋级,如个人从属于某团队,则该团队整体晋级。
  8. 公平竞技:参赛者禁止在指定考核技术能力的范围外,利用规则漏洞或技术漏洞等不良途径提高成绩排名,禁止在比赛中抄袭他人作品、交换答案、使用多个小号,经发现将取消比赛成绩并严肃处理。
  9. 组织声明:组委会保留对比赛规则进行调整修改的权利、比赛作弊行为的判定权利和处置权利、收回或拒绝授予影响组织及公平性的参赛团队奖项的权利。
  10. 竞赛数据:组委会参赛人员使用提供的数据进行指定赛道的模型训练工作,参赛人员不得将数据用于任何其他用途。
  11. 知识产权:参赛作品(包含但不限于算法、模型等)知识产权归参赛队伍所有,比赛主办方有权将参赛作品、作品相关、参赛团队信息用于宣传品、相关出版物、指定及授权媒体发布、官方网站浏览、展览(含巡展)等活动项目,大赛相关组织单位享有优先合作权利;
  12. 奖励分配:竞赛平台、赛题主办方等均不对物质奖励的分配方式予以负责,物质奖励将颁发给个人参赛者或团队指定的个人。证书等将根据个人参赛和团队参赛予以区分,授予个人或团队(列明个人姓名)

报名及线上提交阶段

Start: 九月 27, 2021, 中午

概述: 9.27-10.13(拟)工匠选手可在线「报名」本赛事。10 月 15日(拟)将提供训练数据,10 月 29 日(拟)前需至少提交一次(请注意每日最多提交 3 次)

代码复审提交

Start: 十月 30, 2021, 午夜

概述: 所有前 10选手需按要求提交代码供复审,11 月 2 日(拟)前按要求发送至指定邮箱gongjiang2021@aispacesh.com

代码评审阶段

Start: 十一月 3, 2021, 8 a.m.

概述: 综合代码复审结果和初赛排名结果,取前 5 名进入决赛,将在 11 月 10 日(拟)公示

决赛阶段

Start: 十一月 11, 2021, 8 a.m.

概述: 11-17 日提交决赛材料,拟 11 月 19 日现场决出最终推荐进入工匠选拔的优秀选手

比赛结束

十二月 1, 2021, 8 a.m.

请登陆来参加比赛

登入