数据集
训练集 18,600 条、验证集 4,200 条,标注字段 12 个;另附 600 条无标注测试集用于本地自测。数据来源与清洗脚本逐行列明,测试集禁止进入训练流程。
命题包 11-05 发布,压缩包 2.4 GB,解压后 3.1 GB。后续更新只升版本号并附 CHANGELOG,不静默替换数据;下载页面保留 v1.0 到 v1.2 三个版本,便于复现。
训练集 18,600 条、验证集 4,200 条,标注字段 12 个;另附 600 条无标注测试集用于本地自测。数据来源与清洗脚本逐行列明,测试集禁止进入训练流程。
基于 PyTorch 2.1,单张 24 GB 显卡跑完一轮约 6 小时 40 分,基线 macro-F1 为 0.71。低于基线的方案先别急着提交,先把数据管线查一遍。
以 Docker 镜像运行,读取 /input 与 /output 目录,5 分钟内必须产出 result.json。脚本对超时、字段缺失、异常退出三种情况分别记 0 分,并写入日志。
共 38 页,含字段字典、验收口径、往届 11 个典型失败案例,以及答辩环节评委会追问的 8 个问题清单。建议在第二轮提交前通读一遍。
三条赛道的交付形态不同,但都要求「在指定环境里能启动、能产出结果」。产品与视觉赛道的 5 个验收用例在 11-12 随 v1.2 公布。
| 赛道 | 交付形态 | 验收方式 | 团队上限 | 报名状态 |
|---|---|---|---|---|
| 算法赛道 | 推理容器 + result.json 预测文件 | 验收脚本自动跑分,取 3 次运行中位数 | 5 人 | 开放中 |
| 产品赛道 | 可运行原型 + 需求文档(不超过 10 页) | 现场演示 10 分钟,逐一通过 5 个验收用例 | 4 人 | 剩余 40 队 |
| 视觉赛道 | 可交互页面 + 设计规范 | 指定环境启动,5 项可用性检查 + 3 名用户测试 | 3 人 | 开放中 |
队伍可在 11-20 前对验收用例提出书面异议,说明用例与命题文档冲突之处;逾期未提视为接受,后续不再因用例理解差异调整分数。
单指标未达标不会直接淘汰,但该项按 0 分计。主指标低于 0.60 的作品不进入答辩环节,仍会收到一份自动跑分报告。
| 指标 | 定义 | 达标线 | 权重 |
|---|---|---|---|
| 主指标 | 测试集 macro-F1,测试集不参与训练与调参 | ≥ 0.75 | 30 |
| 推理时延 | 单条请求的 P95 响应时间,预热 100 次后开始计时 | ≤ 180 ms | 20 |
| 资源占用 | CPU 模式下的峰值内存,含模型加载阶段 | ≤ 4 GB | 15 |
| 稳定性 | 连续 3 次评分运行是否均正常退出 | 3/3 通过 | 15 |
| 可复现性 | 按 README 从镜像启动到产出结果的完整流程 | 误差 ≤ 0.5% | 20 |
第一轮只验证环境,不计分;第二轮跑完整指标;第三轮加入答辩。时间均为北京时间,提交入口在截止后 10 分钟内关闭。
| 阶段 | 时间 | 提交物 | 评审方式 | 状态 |
|---|---|---|---|---|
| 命题包发布 | 11-05 | 数据集、基线代码、v1.0 文档 | 公开答疑 3 场,每次 45 分钟 | 已结束 |
| 第一轮 · 环境验证 | 11-18 23:59 | 容器镜像地址 + 运行日志 | 自动脚本跑通即通过,不计分 | 剩余 11 天 |
| 第二轮 · 完整提交 | 12-05 23:59 | 完整镜像 + result.json + 自测报告 | 自动跑分 + 20% 作品人工抽查 | 未开始 |
| 第三轮 · 最终提交 | 12-20 23:59 | 最终版本 + 5 页技术说明 | 自动跑分 + 8 分钟答辩 | 未开始 |
| 结果公布 | 12-28 | 获奖名单与评分明细 | 仲裁组复核异议后公示 5 天 | 未开始 |
以下五项由验收脚本自动检查,任一项不合规即判定提交无效。建议在 12-03 前用一条干净命令从头跑一遍。
提交后系统会给出一份预检报告,标红项可在截止前修复并重新提交;截止后不再接受任何更新镜像。
5 人团队最容易在最后 72 小时崩在环境上。建议从第一天起就把「能跑」当成独立任务,由专人负责,而不是当作收尾工作。
推荐分工:1 人负责接口与进度,2 人做算法与特征,1 人管容器、日志与验收脚本,1 人写 README、技术说明与答辩材料。每天一次 15 分钟同步,只回答三个问题:昨天跑通了什么、今天卡在哪、需要谁配合。
版本用 tag 管理,禁止直接改主分支;每次提交前由非作者本人按 README 从零启动一次,能复现再推送到验收仓库。
六个高频失分点:镜像里写死绝对路径,换机器即失败;依赖未锁版本,验收环境重装超时;推理阶段读取测试集目录做特征,被判违规;日志打印测试集文件名,触发数据泄漏审查;README 只写「运行 main.py」,缺少参数与预期输出;答辩用 7 分钟讲方法,没时间展示失败案例,丢掉可复现性分。
三届参赛规模与达标率,以及当年最主要的失分项。达标指五项指标加权总分达到 60 分且主指标不低于 0.60。
| 年份 | 参赛队 | 达标率 | 最高分 | 当年主要失分项 |
|---|---|---|---|---|
| 2023 | 386 | 41% | 82.4 | 环境不可复现,占失分作品的 63% |
| 2024 | 512 | 47% | 86.1 | 推理时延超标,集中在模型集成方案 |
| 2025 | 604 | 52% | 89.6 | 日志与文档缺失,人工抽查扣分明显 |
关于外部数据、环境验证、产品赛道评分与分数复核的四个问题。
允许使用公开许可的预训练权重,但测试集与官方标注数据不得进入训练。使用外部数据须在技术说明列出来源与许可证,未申报的按违规处理。
可以继续。第二轮仍可提交完整成果,但会失去 5 分的按时验证附加分,也不参与早期提交排序。
按 5 个验收用例通过率 60 分、需求文档完整性 20 分、现场演示表达 20 分计算。验收用例在 11-12 随命题包 v1.2 公布。
以验收环境 3 次运行的中位数为准。差异超过 1 分可在结果公布后 48 小时内提交日志申请复核,复核只查环境与脚本问题,不重跑训练。
三轮节点已写入赛程日历,订阅后在 11-18、12-05、12-20 前各提醒两次。