审核员工作指南
为了进一步确保SpaCE2022评测数据集的质量，现需要审核人员根据审核操作指南对标注人员提交数据进行质量审核，旨在及时发现标注中的问题，规范标注工作，提高标注一致性，进而提高标注数据的质量。该审核工作会根据需要进行，待大家标注一致性提高后，审核工作就停止。
0、打开工作网址：https://2030nlp.github.io/Sp22Annotator/master ，填写姓名、密码。
1、审核前：数据刷新
2、审核中：如果觉得审核信息记录有异常，可点击「管理数据」→「刷新Anno表」，对审核后的数据信息进行更新。一般不需要做这个操作。
根据task2审核分组名单，找到标注人员
1、找任务：在标注人员列表中，点击「标注详情」按钮，进入该人员的待审核列表（即标注详情小窗口）。
在小窗顶部区域，筛选要审核的任务类型及任务批次。点击「排序」后生效。每次点击「排序」按钮，都可将已审核的条目排到列表最上方，方便查看。
2、找标注：待审核列表的每个条目下有“任务ID信息”、“语料信息”、“标注信息”三块。
审核员点击「📥」按钮后，显示语料内容及标注结果。
点击「某某某的标注 #id」按钮，可查看此条标注更详细的信息（一般不需要）。
点击「🔄」按钮，可刷新此条标注的细节（一般不需要）。
3、审核：点击「审批」按钮后，审批操作区域会变为4个部分：1个文本框+3个按钮
「文本框」：用于填写具体审核意见：为什么一个标注是错的。此信息将会反馈到标注者的界面上。
「通过」按钮：标记当前标注为「已通过」状态，并连同文本框内容反馈给标注者。
「否决」按钮：标记当前标注为「未通过」状态，并连同文本框内容反馈给标注者。
「取消」按钮，点击之后，界面恢复为审批前的状态，文本框编辑过的内容也不会保存。
1、审核抽检量和范围确定。
抽检量：5-7条
抽检范围：以前未审核过的语料
注意：不必看标注员姓名下方的“通过率”“初通率”等数字，集中注意力，检查标注内容是否符合规范。
2、审核员决定「通过」或「否决」时，审查重点是：
当前标注给出的规范化的空间方位信息描述，是不是就是句子中那个异常的空间方位信息。如果是，审核结果就是通过，如果不是，审核结果就是否决。
标注结果必须能准确解释（描述）当前句子中的空间语义异常是什么，以及为什么。
注意：遇到比较棘手不确定的问题，可以发到群里进行讨论。