审核员工作指南-220428-v1

审核员工作指南

220428 v1.0

零、背景说明一、角色术语说明二、审核员操作说明2.1、准备2.2、人员列表的操作2.3、审核界面（标注详情小窗口）的操作三、审核工作注意事项3.1、task1 审核工作注意事项

零、背景说明

为了进一步确保SpaCE2022评测数据集的质量，现需要审核人员根据审核操作指南对标注人员提交数据进行质量审核，旨在及时发现标注中的问题，规范标注工作，提高标注一致性，进而提高标注数据的质量。该审核工作会根据需要进行，待大家标注一致性提高后，审核工作就停止。

一、角色术语说明

参与者
- 参与本项目的所有人员统称“参与者”。
- 发起本项目的人员构成的集体称为“课题组”。
标注员
- 标注员的任务是对语料进行标注。
- 大部分参与者都会以标注员的身份参与本项目。
- 标注员的工作会根据标注类型、数量、质量进行薪资结算。
小组长（标签为 manager）
- 每位参与者都会被分入一个小组，每个小组设置一名小组长。
- 小组长由课题组人员担任，其任务是协调小组内参与者的工作。
审核员（标签为 inspector）
- 审核员的任务是对标注员的标注进行审核和反馈。
- 审核员由小组长选定，负责审核的范围由小组长安排。
- 一条语料被审核员审核后，标注员可进行修改，此后审核员需进行复审。
- 审核员同时也是标注员，其标注由小组长审核。

二、审核员操作说明

2.1、准备

0、打开工作网址：https://2030nlp.github.io/Sp22Annotator/master ，填写姓名、密码。
1、数据刷新。
- 初次登陆，选择「刷新全部」
- 等待右下方不再出现提示框 (意味着数据刷新完毕)
- 点击「数据补全」(可能稍有卡顿，请耐心等待)
- 当红灯全部变为绿灯，即可点击「开始工作」
- 在开始工作后，审核进行中，可以隔一段时间点击「管理数据」--「刷新Anno表」按钮，对审核后的数据信息进行更新

2.2、人员列表的操作

点击「只显示我管理的人员」按钮，可以屏蔽不由自己管理的人员，再次点击时恢复。
点击「xx 升序/降序」按钮，可对人员列表进行排序。
- 其中「审核通过率升序/降序」都会将还未审核的人员排列到后方。

2.3、审核界面（标注详情小窗口）的操作

1、在人员列表中，可查看要审核的人员的信息，找到其中的「标注详情」按钮并点击，进入该人员的标注详情小窗口。
2、在小窗顶部区域，可查看该人员目前的通过率（含已审核数量）和标注进度。
3、在小窗顶部区域，可筛选要审核的任务类型及任务批次。点击「排序」后生效。
4、每次点击「排序」按钮，都可将已审核的条目排列到列表最上方，方便查看。
5、每个待审核列表的条目分为上中下三块，分别是：
- ① 任务信息，包括「task#id」按钮、任务批次，以及该任务的提交情况（已提交人数/总分配人数）。点击「task#id」按钮，可查看此任务更详细的信息。
- ② 语料信息，包括「entry#id」按钮、「📥」按钮，以及语料内容。其中，语料内容需点击「📥」按钮之后才会显示。点击「entry#id」按钮则可查看此语料更详细的信息。
- ③ 标注信息，包括「name 的标注 #id」按钮、「审批」按钮、「🔄」按钮、审批结果，以及一条或多条该标注的具体内容。
  - 点击「name 的标注 #id」按钮，可查看此条标注更详细的信息。
  - 点击「🔄」按钮，可刷新此条标注的细节。
  - 鼠标移至审批结果上方，可显示更多细节。
  - 点击「审批」按钮后的操作请看下一条。
6、点击「审批」按钮，首先会触发对此条标注的刷新，待页面提示「执行成功」，方可进行后续操作。点击「审批」按钮后，审批结果区域会变为下述4个部分：
- 一个文本框，用于填写批示/评论/备注。此信息将会反馈到标注者的界面上。
- 「通过」按钮，点击之后，当前标注将会被标记为「已通过」状态，并连同文本框内容反馈给标注者。
- 「否决」按钮，点击之后，当前标注将会被标记为「未通过」状态，并连同文本框内容反馈给标注者。
- 「取消」按钮，点击之后，界面恢复为审批前的状态，文本框编辑过的内容也不会保存。
7、审批结果的颜色说明：
- ① 红色背景，白色文字：标注员已经参考审批意见进行了修改，需要审核员复审。
- ② 白色背景，红色边框文字：审批标记为「未通过」，标注员尚未处理。
- ③ 白色背景，绿色边框文字：审批标记为「已通过」，标注员无需处理。
- ④ 浅灰色背景，黑色文字：尚未审批。

三、审核工作注意事项

3.1、task1 审核工作注意事项

1、审核抽检率确定。
- 审核初期：抽检率不低于15%。例如，某一批次的条目一共40条，应该抽检6条以上。
- 审核中后期：抽检率不低于8%。
  - 注：每个批次的审核抽检标注，必须征询组长意见后来决定。
2、审核步骤。
- 一批次任务提交后，接到组长通知再开始进行审批，"否决"标注者选项时，务必在备注框中给出明确理由。
- 待标注员针对反馈进行修改提交后，审核员及时进行复审，直至本批次审核通过率为1。
  - 注：组长可以代行审核员做复审工作。审核员在复审前，点击「审批」右边的「🔄」按钮，刷新一下当前语料的审核状态。如果组长已经复审，则审核员不需要再重复复审。
  - 注：审核员发现标注人员没有进行修改时，请联系对应组长通知到标注人员。
3、审核周期。
- 在规定任务提交时间后的一天半内完成初审和复审的工作。有时间问题不能完成审核任务的请提前告知组长。
3、审核员决定「通过」或「否决」时，遵循的原则是：
- a. 如果自己很确定“正确答案”是什么，那就按照自己的“正确答案”判断：
  - 对于前四个选项，如果自己心中的正确答案与标注员的答案是相邻的，则点击「通过」，若不相邻，则填写反馈意见并点击「否决」。（相邻选项是指：完全正常&尚能说通；尚能说通&比较牵强；比较牵强&显然异常）
- b. 如果自己也觉得当前句子的归属不那么清晰，那就不干涉标注员的答案，直接"跳过"，进行其他句子的审核。与此同时，记录一下这条语料的情况及不能做出明确判断的原因，及时反馈组长进行讨论。
- c. 点击「entry#id」按钮，可以查看该语料对应两位标注员的标注结果(当且仅当两位标注员都完成了标注)，综合两位的标注结果，进行审核。