评价方式

统一评审阶段

将选手预测结果和答案进行对比计算出F1值，F1越大约好

F1计算公式为：

P = 预测对的标签总数 / 预测出的标签数

R = 预测对的标签总数 / 需要预测的总标签数

F1 = 2 * P * R /(P+R)

代码验证阶段

1. 前 20 强所提交代码将基于扩展的训练集产出结果，并按结果分数排名
2. 赛题专家小组将对前 20 强提交的代码予以检验，判定结果的真实性，并综合结果排名、代码质量、结果真实性等综合因素，最终确定邀请线下答辩的前 10 强队伍。

线下答辩阶段

需要选手进行现场答辩，总评分从模型效果、模型设计及答辩表现三方面评判。具体规则待通知。

1. 参赛人群：大赛面向社会各界开放，不限年龄国籍，高校、科研院所、企业从业人员均可报名参赛。参与大赛组织工作有关单位员工及直系亲属可参赛但不可获奖；
2. 账号体系：赛事平台的账号体系以个人为单位，注册平台需要提交个人的姓名、学校/单位、邮箱、手机等信息。上述信息仅用于赛事联络和运营。
3. 赛事报名：赛题报名以单个账号为单位开展。选手根据自身情况，可选择：

• 个人参赛：选手以个人身份注册账号直接参赛

• 团队参赛：团队的每个成员均需在比赛平台注册，并通过系统在所参与的赛题上组建团队，并将各队员添加入团队作为成员。每个团队最多 5 人。 团队成员在加入团队后，各自可代表团队提交项目，且团队成员个人成绩（无论成团前后）将被统一视为团队成绩，团队成绩最终成绩取团队各成员所取得的最好成绩。同一团队仅可占 1 席晋级名额和奖项名额，如遇同一团队多名成员占有 1 席以上晋级范围的排名，则名额顺延至下一团队或个人。

4. 团队变更：

• 团队变更的允许时段：（1）团队任何成员代表团队完成第一次提交的时间 或 （2）赛事报名截止时间，以这两者中更早发生的时间点为团队变更的最后时机。一旦错过最后时机，团队不得再发生变更；比赛方仅认可团队变更前的团队设定。

• 团队变更的类型：
  • 团队撤销/删除

• 团队成员变更（增加、减少）

5. 作品提交：作品提交规则按各赛道设定执行。作品提交由单个个人账号执行。参赛作品必须保证原创性，不违反任何中华人民共和国的有关法律，不侵犯任何第三方知识产权或者其他权利；一经发现或经权利人提出并查证，组委会将取消其比赛成绩并进行严肃处理；
6. 排行规则：排行榜以个人账号为单位，依据所提交的结果评分予以排名。如个人账号从属于某团队，则排行榜在该个人账号旁会显示其团队名称。团队的排名以团队中各团队成员的最高排名为准。
7. 排名验证：赛题出题方、大赛主办方、平台运营方有权利进一步要求参赛者提交代码、解题思路等并基于此检视判断排行分数的合理性，从而对排名进行修正。各赛事赛题的最终排名应以各赛题所发布的公告或通知为准，线上排行榜仅为参考。参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证。
8. 晋级规则：赛段晋级名额、方式由各赛题设定。若有参赛者主动弃赛，晋级名次顺延。晋级名额中以个人身份参赛的则个人选手个人晋级，如个人从属于某团队，则该团队整体晋级。
9. 公平竞技：参赛者禁止在指定考核技术能力的范围外，利用规则漏洞或技术漏洞等不良途径提高成绩排名，禁止在比赛中抄袭他人作品、交换答案、使用多个小号，经发现将取消比赛成绩并严肃处理。
10. 组织声明：组委会保留对比赛规则进行调整修改的权利、比赛作弊行为的判定权利和处置权利、收回或拒绝授予影响组织及公平性的参赛团队奖项的权利。
11. 竞赛数据：组委会参赛人员使用提供的数据进行指定赛道的模型训练工作，参赛人员不得将数据用于任何商业用途。若做科研使用，请注明数据来源于相关赛题的出题方；参赛人员不得对外以任何形式转载、发布赛题的训练集、验证集的全部或任意部分。
12. 知识产权：参赛作品（包含但不限于结果文件、算法、模型、方案等）的相关权利由出题单位、参赛者、官方竞赛平台三方共享。
13. 奖励分配：竞赛平台、赛题主办方等均不对物质奖励的分配方式予以负责，物质奖励将颁发给个人参赛者或团队指定的个人。证书等将根据个人参赛和团队参赛予以区分，授予个人或团队（列明个人姓名）

1. 赛事奖金：12万（人民币）赛事奖金池，具体分配如下：         

2.荣誉证书：赛事将颁发盖有「世界人工智能创新大赛组委会」印章的荣誉证书；

3.2021年暑期AI菁英实训营项目与AIWIN大赛联动，面向大赛优秀参赛选手开放人工智能技术应用场景企业的实训岗位。

开放场景企业与实训方向（现阶段）如下列表，每家企业预计开放5-10个实训岗位。更多企业场景与岗位，将会陆续开放。

 奖励机制

l 大赛排名前20%的参赛队伍的选手，凡符合实训营入营条件的，将获得“实训奖学金1200元”，用于实训营项目。

l 大赛排名前20%-30%的参赛队伍的选手，凡符合实训营入营条件的，将获得“实训奖学金600元”，用于实训营项目。

凡参与AIWIN大赛并提交比赛结果的参赛选手，符合实训营入营条件的，可获得优先进入所选择实训企业岗位的机会。

# 代码评审阶段（工行平台部署）

1. 所有选手需在工行平台部署自身的代码

2. 要求在notebook默认目录（/nfsHome）下创建一个run.sh文件，作为入口程序，该入口程序(sh /nfsHome/run.sh）执行后应读取/nfsHome/in.xlsx作为模型输入，将模型预测结果输出到/nfsHome/result.csv

3. 当前 in.xlsx为模拟数据，用于线上调试

4. 请选手在线完成调试，5 月 26 日12点后工行平台将锁定所有的账号不可访问，并在线替换输入数据集为真实的测试集，完成模型运算和评分

# 线上提交

1. 最终提交物请打包为 ZIP 包，并命名为 T1_ID.zip，其中 ID 为你的 username(登录名，显示在平台右上角的名字)
2. ZIP 包内容：
- 必要包含的是CSV格式的结果文件
- ZIP 包推荐采用 linux 下的 zip 命令打包(带-j 参数，如直接打包文件夹)
- 如提交阶段，提交面板提示提交的为非法 ZIP 包，请确保 ZIP 包命名无中文等非合法英文字符，且压缩包正确；可采用不同系统不同方式打包实验。
3. CSV 文件命名规范：
- 必须为 result.csv，如命名错误导致无法评分团队自行负责。
- 在提交阶段，如果提交错误的文件名，提交面板会提示错误，分数会显示为 0 分，请重新上传
4. CSV 文件内容规范：
- 不包含表头！不包含表头！不包含表头！直接开始输出识别和标签内容
- 三列内容依次顺序为：新闻 ID，主体名称，标签
- 主体名称需统一为主体的标准全称，请参考训练集提供的实体库
- 再次强调，新闻中识别的自然人、法人都统一映射为实体名称库中的实体全称

推荐使用本次大赛官方算力支持单位UCloud（优刻得）提供的云资源。

UCloud优刻得（股票简称：优刻得，股票代码：688158）是中国第一家公有云科创板上市公司，公司自主研发IaaS、PaaS、大数据流通平台、AI服务平台等一系列云计算产品，提供公有云、混合云、私有云、专有云在内的综合性行业解决方案。

资源优惠：

1. 每个参赛团队免费提供200元资源测试金。
2. GPU云主机、文件存储、对象存储、云主机产品1万元以内享官网原价7折优惠。

以V100S（北京二B可用区）为例，7折优惠价：8.5元/小时。

PS：本优惠为大赛专项优惠，如使用云资源总额超过1万元，可向客户经理申请单独优惠。

优惠报名请通过此链接注册，UCloud工作人员会为您提供测试及服务支持。

此次赛事有幸获得了中国工商银行-AIWIN 创新孵化平台对赛事训练过程的支持 （请注意代码验证阶段将全面要求选手采用该系统部署代码和线上模型评分），训练阶段使用规则和限制如下：

中国工商银行-AIWIN 创新孵化平台

1 平台简介

中国工商银行-AIWIN 创新孵化平台，集成工银Notebook人工智能环境，是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。

简而言之，是以网页的形式打开，可以在网页页面中直接编写代码和运行代码，代码的运行结果也会直接在代码块下显示。如在编程过程中需要编写说明文档，可在同一个页面中直接编写，便于作及时的说明和解释。

中国工商银行-AIWIN 创新孵化平台适合做数据处理，其用途可以包括数据清理和探索、可视化、机器学习和⼤数据分析等。

中国工商银行-AIWIN 创新孵化平台将为大家提供完备的IDE及丰富的计算资源。

2 平台访问

AIWIN创新孵化平台入口：

http://icbclab.aiwin.org.cn/aiwin/loginPage

如需使用该平台，请点击此处申请（仅 54 套账号，先到先得；为确保资源分配到真正需要的同学手上，请申请时上传一个基本解题思路）

3 平台限制

平台计算资源限制：2C/4G内存/5G存储

可使用的库的限制：已默认安装anaconda 3.5.2和tensorflow1.6cpu版。若需使用其他库，需自行上传安装包进行安装。

网络访问限制：比赛环境内不可访问外部网络、调用外部服务。

4 平台功能

• 登录

在登录页面输入账号、密码和验证码，点击登录，进入主面板。

• 主面板

登录中国工商银行-AIWIN 创新孵化平台，首先进入主面板。在菜单栏中有Files、Running、Clusters三个选项。Running页面主要展示的是当前正在运行当中的终端和ipynb格式的notebook，我们可以选择结束正在运行的程序。Clusters类目现在已由IPython parallel对接。用到最多的是Files页面，我们可以在这里完成notebook的新建、重命名、复制等操作。

1. 上传本地文件

点击主面板右上角的Upload，可以从本地上传文件。

1.1 点击upload

1.2 选择本地目录下的文件，点击打开，被选择的文件会显示在主面板中

1.3 选择Uplaod，等待一会儿时间，文件就上传成功了。

2. 新建Notebook

点击右上角的New可以新建Notebook、文本文件、文件夹或终端。在Notebook下的列表中，可以看到使用的版本是Python3。

3. 其他操作

对于现有的文件，可以通过勾选文件的方式，对选中文件进行复制、重命名、移动、下载、查看、编辑和删除的操作。

• Notebook编辑界面

新建一个Notebook，进入编辑界面。

一个Notebook的编辑界面主要由四部分组成：名称、菜单栏、工具条以及单元(Cell)。如下图所示：

1. 名称

在这里，我们可以修改Notebook的名字，直接点击当前名称，弹出对话框进行修改。 

2. 菜单栏

菜单栏中有File、Edit、View、Insert、Cell、Kernel、Help等功能。

3. 工具条

工具条中的功能基本上在菜单中都可以实现，这里是为了能更快捷的操作，将一些常用按钮放了出来。下图是对各按钮的解释。

4. 单元区域

单元区域是Notebook编辑界面最重要的部分，一共有4种形式的单元：Code、Markdown、Raw NBConvert、Heading，这四种形式可以互相切换。Code用于写代码，Markdown用于文本编辑，Raw NBConvert中的文字或代码等都不会被运行，Heading是用于设置标题的，这个功能已经包含在Markdown中了。

默认的是代码格式，也就是下图中所示的Code。

选择“+”，可以新增单元格；

选择“↑”和“↓”，可以移动单元格，重新排序；

选择剪刀符号，可以删除单元格。

单元格绿⾊代表处于编辑模式，可以编辑文本和代码，蓝⾊代表处于命令模式，可用于执行键盘输入的快捷命令。两种模式可以通过 Esc 和 Enter 来切换

4.1 代码单元

Notebook中的⼤部分⼯作均在代码单元格中完成。编写和执⾏代码都在这⾥，就像我们平时在 IDE 软件⾥敲代码⼀样，给变量赋值、定义函数和类、导⼊包等。执⾏单元格代码可以通过点击Run按钮或者同时按住Shift + Enter来完成，其结果显示在本单元下方。代码单元左边有 In [1]: 这样的序列标记，方便人们查看代码的执行次序。

右上角Python 3的小圆圈在空闲状态下是空的，⽽当运⾏代码时，会被填满，所以可以通过观察它的状态观察程序是否运⾏完成

4.2 Markdown单元

在Markdown单元对文本进行编辑，采用markdown的语法规范，可以设置文本格式、插入链接、图片甚至数学公式。同样使用 Shift + Enter或Ctrl + Enter运行单元来显示格式化的文本。

4.3 快捷键

Notebook ⾃带⼀组快捷键，能让你快速使⽤键盘与单元格交互，⽽⽆需使⽤⿏标和⼯具栏。熟悉这些快捷键需要费⼀点时间，但如果能熟练掌握，将⼤⼤加快你在Notebook中的⼯作速度。所有的快捷键可以通过单元格蓝⾊状态下按“h”来查看：

# 0602

赛题 10 强公示

经过第二轮线上测试，平台代码审核，最终公示成绩如下，恭喜进入 10 强的团队

# 0521 

20 强公告，恭喜以下团队和个人进入 20 强（表格为团队名 + 分数，按排名顺序展示）

# 0512

由海通证券和中国工商银行联合命题的「互联网舆情金融风控事件识别与预警」赛题，自 5 月 12 日零点起正式开放测试集下载，请大家登陆系统，在「参赛提交」面板下「下载」栏目获取数据。

请注意，该赛题设定的是「先统一提交、再统一评分」的评分模式，即提交时不评分，待截止提交后统一针对所有有效提交予以评分。此轮提交的截止时间是 5 月 16 日午夜 24 点，请大家抓紧时间。

针对该赛题的设定，有几处予以提醒：
1. 关于预测出风控标签为”无“的情况，其对应实体名称应标记为”/“，而非“ ”(空），即遵循当前训练集和测试集的标记方式予以输出，请勿输出错误。
2. 请遵循提交样例的提示，提交的结果文件不含表头，直接输出结果，并且结果输出请严格按照新闻 ID 的原顺序，依次输出。
3. 针对赛题的测试集，命题方做真值标注时采用了「人工标注」和「机器标注」混合的方式。命题方经过讨论后，决定仅会对「人工标注」的真值答案做对比计分 。测试集中「人工标注」和「机器标注」的比例和详细情况均不公布。

#0429 - Datawhale 练习区开放

开源合作伙伴 Datawhale 为了帮助参赛者们更好提升本赛题的成绩，特自行组织了一个模拟练习区，基于其提供的模拟测试集和模拟评审程序，为同学们提供第 1 轮正式提交前的练手环境。

请访问：http://ailab.aiwin.org.cn/competitions/54

# 0416-赛事启动

此处为本赛题公告区域，赛事重要通知、各阶段最终排行公示将统一公告于此，并同步邮件公告给各位选手

感谢由大赛开源生态合作伙伴 Datawhale 组织的 Baseline 分享，代码当前在 github 分享。