SpaCE2022中文空间语义理解评测数据标注工作指南

task2:判断造成句子空间语义异常的原因是什么

欢迎大家参与本次数据标注工作!


1 任务简介



2 术语说明

2.1 空间语义三要素S-P-E

为了更加规范地描述空间语义异常,我们引入三种基本语义要素来描述句子的空间语义,具体如下。

2.1.1 空间实体(Spatial entity
2.1.2 空间实体的方位(Place) 
2.1.3 空间义相关事件 (Event) 
2.2 空间语义异常文本标注
2.3 S-P-E标注原则


3 选项说明

3.1 选项1:搭配不当
3.2 选项2:语义冲突
3.3 选项3:不符合常识或背景信息
3.4 选项4:并无异常
3.5 选项5:不适合用于计算机空间语义理解


4 操作说明

4.1 操作界面及操作步骤

image-20220528112007869

4.2 基本操作
4.2.1 基本操作定义(D页面操作)
  1. 选取操作(op1): 鼠标左键点击片段起始字,鼠标左键点击片段结束字,该片段即被选中。在选取异常片段时,可能是句中连续的语言成分,也可能是不连续的语言成分。文本框已填内容后有一个字符按钮,点击该按钮,可以将选中拷贝好的不连续成分添加到当前文本框内容后,拼接成更大的文本内容。

  2. 填入操作(op2): 将选中的词语或文本片段填入文本框。

  3. 撤销操作(op3): 填入文本框的文本片段尾部有一个 字符按钮,点击该按钮,可撤销填入内容。

    以上1、2、3这三个操作,是标注中最常用的基本操作。

  4. 清除操作(op4): 选取一个文本片段后,会弹出“清除选区”和“拷贝选区”按钮。 点击“清除选区“即可撤销选取操作。

  5. 拷贝操作(op5): 选取操作后,被选中的片段将被拷贝至剪贴板,可用于搜索引擎检索或讨论交流。

    以上4、5两个操作为辅助功能,标注中可以不用。仅在不是出于标注目的而拷贝一段文字内容时会用到。

4.2.2 操作顺序(D页面、B页面操作)
  1. 选择归因类型(“搭配不当”“语义冲突”“不符合常识或背景信息”)—— 勾选选项前的复选框;
  2. 用鼠标在文中选择空间异常文本片段(op1);
  3. 将选择的异常文本片段填入归因文本框(op2);如对填入不满意,可以撤销(op3)后,回到步骤2;
  4. 反复执行1-3(必要时,需在B页面选择“增加标注”),直到没有遗漏的归因,点击「完成」→「保存并继续」,结束。

具体操作请参见以下视频说明。

如果未点击“保存并继续”按钮,则当前标注内容将不被保存,导致标注者需要重新标注的严重后果!!!



5 注意事项

5.1 异常片段选取
5.1.1 text1和text2怎么选
5.1.2 S怎么选
5.1.3 P要不要含介词
5.1.4 E怎么选
5.1.5 片段完整性
5.2 异常类型归因
5.2.1 排他关系(单选)
5.2.2 并存关系(多选)
5.3 空间场景还原
5.4 应淘汰语料



文档最近更新时间:2022-06-08

北京大学SpaCE2022评测任务课题组

本项目得到国家科技创新2030“新一代人工智能”重大项目——“以自然语言为核心的语义理解理论、模型与方法”(项目号:2020AAA0106701)支持。