【报名开启】CCKS 2022教科书示意图问答任务

赛题背景

示意图是一种高度抽象的知识表达载体，常由矩形、圆形等几何形状和箭头、折线等逻辑符号组成，广泛被应用于教科书、百科、知识博客等教育场景。在上述场景中，学习者常通过视觉问答的形式来判断对知识点的掌握情况，即：给定学习者一张示意图，根据视觉信息来回答与该知识点相关的自然语言问题，我们将其定义为教科书示意图问答任务，任务样例如图1所示（实际评测中会提供标注信息）。该任务可能涉及视觉对象的检测与对齐、知识术语的理解以及知识表示的动态变化等复杂推理过程，良好的完成该任务是未来跨媒体智能、智慧教育等应用的重要基础，也有助于提升计算机对人类认知行为和学习习惯的理解。

图1 教科书示意图问答样例

该任务主要有两个挑战：一是示意图资源稀缺，标注代价高昂，具有天然的小样本场景，在不具备大型语料库的场景下完成该任务是一个难题；二是示意图表达抽象、特征稀疏，简单的几何形状蕴含有丰富、专业的语义信息，如何较好地提取并理解其视觉特征是一个难题。本次测评任务的示意图来源于计算机科学领域，希望选手能针对上述两个难点，深入理解示意图中的关键信息，构建模型实现准确的示意图问答表现。

比赛任务

比赛要求选手根据提供的训练集示意图及问答数据训练算法模型并对验证集中的示意图对应问题答案进行预测。比赛使用的问答数据来自计算机科学领域示意图问答数据集，采用正确率（Accuracy）评测模型性能。

组织机构

陕西省天地网技术重点实验室：实验室成立于2004年10月，依托计算机、自动化、机械电子等学科，重点开展面向天地网基础理论、关键技术及其应用系统的研究，包括远程教育、舆情分析、可信软件、自然语言处理、医疗与生物医学大数据等方向的研究。

联想（北京）有限公司是联想集团全资子公司，作为全球领先的智能设备及企业IT解决方案提供商以及国家高新技术企业，拥有授权专利 12883 项，其中国内发明专利7462项，国际专利1771项；拥有智慧教育解决产品市场占有率70%等优势。

比赛数据

Ø 数据来源：

本次测评任务的示意图问答数据来自Computer Science Diagrams (CSDia) ，是一个包含有丰富标注信息的计算机科学领域数据集。CSDQA是计算机科学领域的第一个示意图问答数据集，共包含1,294张示意图和超过3,400个问答对。其中，所有的示意图均来自于教育场景中的真实数据，包含两本英文教科书，五本中文教科书，若干博客和知识百科等来源，并经过自动化收集、领域专家选取与标注，可保证数据的准确性和多样性。问答数据集中的问题，包含判断题和四选一问题，数量比例大致为1:1；所有问题依据难度还可划分为简答（一步推理）问题和复杂（两步推理）问题，数量比例大致为4:1。

Ø 标注内容：

数据集中，每个问题对应一张示意图，为了便于选手处理数据，我们将问题及标注信息统一整理为Q.json文件，文件中问题格式样例如下：

|---question: How many contents are in the array?

|---type: MC

|---difficulty: easy

|---diagram_path: ./data/CSDia_train_val_test/train/D\10.png

|---cords:

||---0

| |---211

| |---233

| |---108

| |---44

|---answer

||---d: 13

||---c: 10

||---b: 5

||---a: 9

|---correct_answer: a

|---split: train

其中，‘question’为问题文本；‘type’为问题类型，包含TF（判断题）和MC（四选一问题）；‘difficulty’为问题难度，包含简单和复杂；‘diagram_path’为该问题对应的示意图相对路径；‘cords’中包含有若干对象的标注框坐标；‘answer’为该问题的候选答案；‘correct_answer’为该问题的正确答案，需要注意，仅在训练集中包含问题的正确答案标注；‘split’为该问题所属的划分集合。

Ø 训练集&验证集：

在训练数据发布阶段，我们会发布约2000条标注好的数据作为训练集。同时发布约600条不含标注答案的问题作为验证集，选手可以将自己生成的验证集答案提交，比赛系统会对答案进行评测，给出得分并进行排行。

在测试数据发布阶段，我们会发布验证集的标注结果（包括答案），同时发布约600条左右不含标注结果的问题，作为测试。选手将自己生成的测试集答案提交，比赛系统会对答案进行评测，给出得分并进行排行。