竞赛重要公告

1227 公告

1. 我们从今日起进入榜单复核，我们主要针对 B 榜的前 30 名邮件邀请提供队伍实名信息。在审核过程中发现因各种原因失去资格的团队，将会按排行榜名次自动顺延邀请顺位选手填写信息。预期于本周三前完成所有审核。关于各位提到的各类可能的作弊问题，我们将通过审核期间对应实名制、ID 关联、提交次数等做好相应复核检查。
2. 审核完成后，我们将邮件邀请前 20 名的团队提交 PPT 和代码。代码因为都在训练平台环境中，我们会在审核期间即要求各团队指定一个训练平台用户名称给到我们，我们将通过训练平台直接提取该用户名称下的代码做检视； PPT 的要求请见各赛题的「解决方案验证阶段」的要求。预期于本周末前完成材料收集。
3. 前 20 名的团队，会在经过 PPT 和代码审核后，选出 前 10 名，届时进一步联络参与最后的答辩路演（预期 1 月中，线上）。

竞赛解读视频

竞赛关键要点

竞赛详细文案

一、赛题考官

本赛题由复旦大学附属中山医院和上海数创医疗科技有限公司联合命题。

二、赛题背景

心电图是临床最基础的一个检查项目，因为安全、便捷成为心脏病诊断的利器。每天都有大量的心电图诊断需求，但是全国范围内诊断心电图的专业医生数量不足，导致很多医院都面临专业心电图医生短缺的情况。

人工智能技术的出现，为改善医生人力资源不足的问题带来了全新的可能。由于心电图数据与诊断的标准化程度较高，相对较易于运用人工智能技术进行智能诊断算法的开发。

由于心电图可诊断的疾病类别特别丰富，目前，市面上出现较多的是针对某些特定类别的算法，尚没有看到能够按照临床诊断标准、在一定准确率标准下，提供类似医生的多标签多分类算法。本次赛事希望吸引更多优秀的算法人才，共同为心电图人工智能诊断算法的开发贡献力量。

三、赛题任务

针对临床标准12导联心电图数据的多标签多分类算法开展研发和竞技比拼。

选手需利用命题方提供的训练集数据，设计并实现模型和算法，能够对标准12导静息心电图进行智能诊断。需要识别的心电图包括12个类别：正常心电图、窦性心动过缓、窦性心动过速、窦性心律不齐、心房颤动、室性早搏、房性早搏、一度房室阻滞、完全性右束支阻滞、T波改变、ST改变、其它。

本赛题共分为两个关联任务：任务一为要求针对心电图输出二元（正常 v.s 异常）分类标签；任务二为针对给定的心电图输出上述12 项诊断分类的诊断结果标签。

其中任务一采用开放下载训练集和测试集模式，对新手友好，可自行线下建模或使用赛事提供的训练环境（notebook.aiwin.org.cn）；任务二要求全程线上建模和测试，提供不可下载的训练集和“不可见”的测试集，适合有一定开发经验的选手，建议任务一能够达到F1>=0.88参与任务二。

四、赛题数据

心电数据的单位为mV，采样率为 500HZ，记录时长为 10 秒，存储格式为 MAT；文件中存储了 12 导联的电压信号（包含了I，II，III，aVR，aVL，aVF，V1，V2，V3，V4，V5 和 V6）

1.任务一的数据说明

数据将会分为参赛者可见标签的训练集，及不可见标签的测试集两大部分。数据均可下载。（请参见「参赛提交」——「下载」下的 2021A_T2_Task1_数据集，其包含了训练集和测试集）

其中训练数据提供 1600 条 MAT 格式心电数据及其对应诊断分类标签（“正常”或“异常”，csv 格式）；测试数据提供 400 条 MAT格式心电数据。

（1）数据目录

   DATA |- trainreference.csv TRAIN目录下数据的LABEL

        |- TRAIN            训练用的数据

        |- VAL              测试数据

（2）数据格式

  12导联的数据，保存matlab格式文件中。数据格式是(12, 5000)。

  采样500HZ，10S长度有效数据。具体读取方式参考下面代码。

  0..11是I, II, III, aVR, aVL, aVF, V1, V2, V3, V4, V5和V6数据。单位是mV。

    import scipy.io as sio

    ecgdata = sio.loadmat("TEST0001.MAT")['ecgdata']

（3）trainreference.csv格式

   每行一个文件。 格式：文件名,LABEL (0正常心电图，1异常心电图）

2.任务二的数据说明

数据将会分为参赛者可见标签的训练集，及不可见标签的测试集两大部分。数据均不可下载，需访问大赛指定的训练平台(notebook.aiwin.org.cn)在线访问训练集做模型训练。

其中训练数据提供 24,000 条 MAT 格式心电数据及其对应诊断多分类标签（标签说明如下，csv 格式）；测试数据提供 6,000 条 MAT格式心电数据，共提供3万条数据。

（1）数据目录

   DATA |- trainreference.csv TRAIN目录下数据的LABEL

        |- TRAIN            训练用的数据

        |- VAL              测试数据

（2）数据格式

  12导联的数据，保存matlab格式文件中。数据格式是(12, 5000)。

  采样500HZ，10S长度有效数据。具体读取方式参考下面代码。

  0..12是I, II, III, aVR, aVL, aVF, V1, V2, V3, V4, V5和V6数据。单位是mV。

    import scipy.io as sio

    ecgdata = sio.loadmat("TEST0001.MAT")['ecgdata']

（3）trainreference.csv格式

   每行包含一个文件。 格式：文件名,诊断结论数字（可能有多条不同的诊断结论，结论不重复,顺序不定）

    TEST00053,5,6,10

    结论是:心房颤动,室性早搏,T波改变

五、赛题赛程和提交要求

本赛题共分成三个大阶段：

线上比赛（分为任务一和任务二） —— 解决方案审核 —— 终选答辩

赛程总览示意如下：

1.线上比赛

本赛题下的线上比赛将设定为两个时间上并行、难度从低到高的任务。任务二为主任务，任务一作为开放任务先行提供选手了解数据基本情况、赛题基本情况和线上开发环境。

该阶段内接受个人报名、团队登记（报名登记规则请详细阅读比赛规则），团队创建需经管理员审核（若正式代表某机构或企业参赛，需机构或企业出具相应盖章函件证明方可建立）。

（1）任务一：二元诊断

1. 任务说明：

主要目的是让参赛选手熟悉心电图数据格式，并实现对「正常」与「异常」心电图的二分类算法设计。通过这个过程，使选手了解基本的心电诊断过程和知识，并为任务二做好准备。

2. 提交内容和要求：

AIWIN平台要求所有提交内容统一打包为 zip 文件上传（请参见「参赛提交」tab下「下载」板块提供的提交样例），其内包含：模型输入测试集后输出的结果文件，文件格式统一为csv，名称必须统一为answer.csv，请注意 answer.csv必须含有"name,tag"这一 csv 的 header 行，否则会出错 。具体请下载任务一的样例 sample 文件并按照其格式输出即可。

其格式请参照trainreference.csv

• 请统一输出为utf-8编码的CSV文件
• 文件请命名为answer.csv
• 该 csv 文件请直接压缩为 ZIP 包，在 AIWIN 平台提交

3. 评价方式：评价标准请参见第六节评价方式
4. 提交规则：每日最多提交 3 次，12 月 16 日午夜冻结榜单作为学习奖励依据，17 日重新开放，可继续打榜练习。
5. 排名规则：以选手最新一次提交的排行分数为准。

（2）任务二：12 类标签诊断

1. 任务说明：

① 任务二参赛资格：可直接挑战，但一般建议任务一尝试达到 0.88 分。

② 任务二要求：任务二是多标签多分类算法问题（具体类别见下方说明），采用 AB 机制。选手经由官方指定的训练平台(notebook.aiwin.org.cn)可访问完整训练集，并开展建模。选手正式提交模型后（见下方 B 点的说明），训练平台后台每天正午 12 点及午夜 24 点将自动对所有「提交」状态的代码做运行，输入测试集，完成结果输出。输出结果可下载后在AIWIN平台提交，并获得分数和排名。

③ 本轮赛题任务为对下列正常与11种异常类别进行识别（其中第12类“其他”为不属于正常与另外10种异常的其他异常），并给出相应诊断结论。

④ 任务二的AB 榜设定：任务二采用 AB 榜模式，其中 A 榜采用测试集的 70%，B 榜采用完整测试集(完整测试集共包含 6000 条心电数据)。A 榜将在 12 月 16 日午夜冻结，17 日切换进入 B 榜，B 榜在 12 月 26 日冻结。

2. 代码提交要求： 

3. 提交内容和要求：

AIWIN平台要求所有提交内容统一打包为 zip 文件上传（请参见「参赛提交」tab下「下载」板块提供的提交样例），其内包含：模型输入测试集后输出的结果文件，文件格式统一为csv，名称必须统一为answer.csv。请注意任务二的文件内容任务一有差异，不含有‘name,tag’的 header 行，请查看任务二的样例以其为样板。 

其格式请参照trainreference.csv

• 请统一输出为utf-8编码的CSV文件
• 文件请命名为answer.csv
• 该 csv 文件请直接压缩为 ZIP 包，在 AIWIN 平台提交

4. 评价方式：评价标准请参见第六节评价方式
5. 提交规则：任务一每日最多提交 3 次；任务二A榜每日最多提交 3 次，任务二 B 榜全程做多提交 2 次。
6. 排名规则：已最新一次提交的分数为准；

2.解决方案验证阶段

1. 赛程说明：

第 2 轮 B 榜结束提交后，组委会将对B 榜前30 的 选手做复核核验，排除掉可能重复获得资格、或者违反规则等情况的选手。选定最终确定的前 20名的选手，并予以公示。前 20 名选手将被要求提交一份解题思路 PPT。组委会将基于 PPT内容，对 20 强选手的代码进行形式审查（作弊审查）、代码复现，并针对解决方案的创新性等综合维度做评判（不排除针对全部或个别选手要求电话或当面沟通答辩），最终确定进入终选的10 名选手。

2. 提交内容和要求：

1. 选手需在 2021 年 12 月 31 日前，通过指定链接，上传解题思路 PPT
2. 解题思路 PPT 命名应为选手名.ppt，对于个人参赛选手名即个人 ID，团队参赛选手名即为团队名。
3. 解题思路 PPT 需包含以下内容：

• 个人简介：在职者填写当前职业和在职机构（如方便透露），在校者请填写当前年级、专业、高校

团队简介：团队整体介绍，以及每个成员的介绍、成员分工

• 赛题理解与问题建模：清楚描述对赛题任务的理解，抽象为模型建立的策略
• 数据探索与特征工程：针对赛题提供的数据描述必要的数据特征、数据清洗、特征工程的关键思路和方法
• 模型训练和融合：描述模型的训练、实验对比和融合过程与方法
• 代码依赖环境：详细列出包括整体建模采用的基础框架（含版本号）以及依赖的包等
• 提供代码审核所用的最终代码版本：即训练平台的 ID 和代码最终部署路径

3.终选答辩

拟于 2022 年 1 月举办终选答辩。入选终选的选手将通过线下或线上的方式参与最终的评审答辩，综合线上排名、终选答辩及命题方考量的其他维度综合确定最终的排名和奖项归属。

六、评价方式

1.任务一的二分类评价方法：

（1）结果统计

（2）计算指标

      任务一的排名根据 F1 分数，学习奖励将参考 12 月 16 日午夜冻结后的任务一排名进行核算。只有报名心电数据挖掘方向学习的账号才有资格享受学习奖励，非学习者不享受学习奖励。

2.任务二的多分类采用下面的评分方法：

（1）结果统计

每一个类别，都可以转化为一个二分类的混淆矩阵：

(2）计算指标

①  算法针对第 i 类的Precision、Recall和F1分数为：

② 关于完全正确匹配率的计算

由于心电图在临床真实环境中，常常是一条数据含有多个诊断结论标签，则算法性能的评估，还需要了解对真实数据的结论的总体正确率。比如某个心电图结论为：1.窦性心动过速2.偶发室性早搏3.偶发房性早搏，那么是否该多分类算法对该条数据的诊断结论也同样为：1.窦性心动过速2.室性早搏3.房性早搏，可以评估该算法模型对真实数据的综合性能表现。

具体性能指标计算方法：

若分类模型识别n类结论标签，标签定义为：[C1,C2,C3,…,Cn]。

算法若能够预测出数据中出现的m类标签[C1,C2,C3,…,Cm]（m≤n)，则记为预测正确。

则完全正确匹配率=正确的样本数量/总体样本数量×100%

③ 最终评分 = 类别平均F1分数 * 80% + 完全正确匹配率 * 25%

（最终结果可能超过100%，因为完全正确匹配率较低）

     任务二的排行榜按照上述最终评分计算并排名，A 榜和 B 榜模式相同。请注意任务二的分数输出为 XXX%，%在排名榜中不显示，因此数据范围 一般为 0-100，也可能超过 100

3.终选评价方法：

任务二为本赛题的主任务，期望争夺最终 10 名及 11 万元奖金池的应在任务二的 A 榜和 B 榜提交，并以 B 榜的排名为依据，选拔出前 20 名做解决方案审核，审核后将选拔出 10 名进入终选答辩，答辩后产出最终的 10 名获奖者。

最终的综合结果 = 任务二的 B 榜排名 + 解决方案复审结果 + 终选答辩结果 

获奖名次按照上述最终的综合结果排定。

七、特别说明

（1）竞赛数据：赛事提供的数据仅能用于指定赛道的模型训练工作，参赛人员不得将数据用于任何商业用途。参赛人员不得对外以任何形式转载、发布赛题的训练集、验证集的全部或任意部分；

（2）算法代码：各参赛者应按比赛设定要求提交完整的解决方案（包括代码、模型、文档等），并保证解决方案可独立自主由比赛组织方和出题单位在脱机环境下运行使用，复现结果；

（3）作品提交：作品提交规则按各赛道设定执行。作品提交由单个个人账号执行。参赛作品必须保证原创性，不违反任何中华人民共和国的有关法律，不侵犯任何第三方知识产权或者其他权利；一经发现或经权利人提出并查证，组委会将取消其比赛成绩、追回奖励（如已发放）并保留追究法律责任的权利；

（4）知识产权：参赛作品（包含但不限于结果文件、算法、模型、方案等）的相关权利由出题单位、参赛者、官方竞赛平台三方共享。

（5）上述约定已在比赛规则中载明，选手报名成功本赛事，即默认选手已阅读并同意比赛规则的所有条款。

八、赛事奖励

1.    赛事奖金与奖励

2.    证书

所有获奖选手将颁发盖有“世界人工智能创新大赛组委会”的赛事证书，对应赛题的证书上将同时印刻有赛事命题方的官方 logo

所有报名学习计划并通过考核的，将获得由组委会和 Datawhale 共同颁发的学习证明。

3.    直通 AI 菁英实训营

AI 菁英实训营是 AIWIN 的联动合作项目之一，将在每年暑期面向高年级本科生和研究生举办。通过 1 周的集中理论和技术培训，4 周的企业驻场项目实训，1 周的路演筹备和项目汇报，为同学们提供绝佳的掌握一线AI 技术应用和体验大厂的职场生涯的机会。往年参与企业有中国工商银行、太平洋保险、Artefact、卫宁健康、海通证券等，参与的高校学子来自上海纽约大学、清华大学、复旦大学、电力大学等。获奖选手将获得直通 2022 年实训营的资格。

4.    企业校招或实习直通车

本赛题命题方数创医疗将面向优秀的参赛学子，提供实习的绿色直通车或优先考虑。

5.    入选人才库

有意向进一步和 AIWIN 广大生态企业产生互动，无论是实习还是参与校招、社招的选手，可以投递简历至 AIWIN，并由 AIWIN 结合选手在不同赛季不同赛题的综合表现，向用人方出具相应证明和推荐。