《面向机器学习的数据标注规程》摘录

说明:本文使用的标准是2019年的团体标准,最新的国家标准已在2023年发布。

3 术语和定义

3.2 标签 label

标识数据的特征、类别和属性等。

3.4 数据标注员 data labeler

对待标注数据进行整理、纠错标记批注等操作的工作人员。

【批注】按照定义,数据标注员包括标注员、审核员。

3.7 标注说明规则 annotation instruction

数据需求方用于明确标注任务和标注数据的书面陈述,包含执行标注任务所需的标注工具、任务描述、标注方法、正确示例、常见错误等内容。

【批注】在书面陈述中,任务描述可录入系统,正确示例、常见错误以文件方式提供。

3.8 标注方法 annotation method

定义数据标注员进行数据标注时的环境和规程,包含标注对象定义、所用标注工具和标注平台、标注格式、标注前的准备工作、标注后的处理工作等。

4 数据标注规程框架

在这里插入图片描述

数据标注规程框架见上图,包括:

a) 标注任务前期准备:
1)定义所需数据;
2)制定标注说明规则;
3)确定标注人力的供给方式;

b) 标注任务中:
1)标注任务的创建;
2)标注任务的分发;
3)标注任务的开展;
4)标注任务的回收;

c) 标注结果输出:
1)标注结果的质量检查和控制;
2)标注结果的输出格式;
3)标注数据的交付和验收。

5 数据标注规程

5.1 定义所需标注数据和预估数据量

数据标注前应完成以下五项准备工作:

a) 分析数据。明确机器学习和模型训练过程中所需的标注数据类型、量级、用途及应用场景等。

b) 整理数据。明确数据与标签文件存放的目录结构,在任务分配与回收时,应按指定的目录进行数据组织;

c) 明确命名规则。应明确数据与标签文件的命名方式,命名规则应避免数据更新迭代时的重名,便于数据追踪、标注追踪,且数据文件名与标签文件名应保持一致;

e) 标注数据定义与需求量。明确标注数据的定义并确定最终的需求量。

5.2 标注说明规则

5.2.1 标注说明规则职责分工

数据需求方应负责确保数据标注的规则符合该领域的业务和专业常识,并根据标注规则,检查所标注的数据是否满足数据需求方。

示例1:数据需求方即业务数据需求方,指需要利用人工智能技术解决实际业务问题的业务团队。

数据使用方应从机器学习算法角度,确保标注规则可满足机器学习模型的训练要求,并根据该标注规则,检查标注的数据支撑机器学习模型达到数据需求方期望的精度。

示例2:数据使用方指需要使用标注数据训练人工智能模型的研发团队。

数据需求方、数据使用方及数据标注团队应共同参与标注说明规则的制定、调整、迭代、执行的各个环节。数据标注团队应从实际标注角度出发,确保标注规则清晰、明确。

5.2.2 标注说明规则定义

标注说明规则应明确项目背景、意义及数据应用场景,包含项目标注工具、任务描述、标注方法、正确示例、常见错误等内容。
标注说明规则应有可变更性,该变更应由相关方评审同意后,再更新规则文档,且相关方应沿用制定规则时的基本原则及方法。

【批注】项目背景、意义及数据应用场景可录入系统,并提供修改功能。

5.2.3 标注说明规则内容

标注说明规则包括但不限于:
a) 项目背景:概述项目背景或数据标注需求产生的场景;
b) 版本信息:标注该说明的当前版本编号、发布日期、发布人、发布说明(发布原因或迭代原因)及历史迭代信息(历代版本编号、发布日期、发布人、发布说明等);
c) 任务描述:概述标注项目主要任务,包括标注项目关键信息、数据形式、标注平台、主要标注方法、期望交付时间、正确率要求等;
e) 标注方法:阐明数据需求方所需数据对象的标签定义,明确在协定标注平台上使用的标注组件、标签类型及全部操作。标注方法的衡量标准是以标注人员掌握标注方法后,能否立刻正确操作一次标注;
f) 正确示例:通过图片、图文、视频等的形式,示范正确的标注方法或成果,数据需求方应明确数据产出,标注方应明确标注认识,标注样例应覆盖特殊样本的标注示例;
g) 注意事项:标注方的错误预警具有警示作用,规则制定者在注意事项中应列出标注方应避免的错误、标注方法中应注意的细节及额外处理方式等;
h) 质量要求:数据标注规则应对项目的预期质量有合理的定量预估。质量审核应遵循质量要求。

【批注】以上对规则内容的说明可作为数据库字段的注释,系统提供标注说明规则的版本发布功能,任务描述中的期望交付时间、正确率要求可录入系统。系统提供标签定义功能。注意事项、质量要求可录入系统。

5.2.4 执行方法及注意事项

标注方按照给定规则标注时,发现存疑数据应及时记录。数据需求方应明确此类数据的记录规则、保存路径及后续处理方法等。采用多人标注或定期集中反馈等方法处理问题数据。
标注说明规则的细则应有可调整性

【参考】
存疑数据记录规则:difficult=1
存疑数据后续处理方法:系统提供存疑数据统计、存疑数据重新分配的功能。

5.2.5 标注说明中术语体系规范化

术语体系的规范化至少应满足:
a) 遵从国家法规和行业规范
b) 建立统一的标注术语字典,确保数据标注人员对术语和定义理解的一致性;

【参考】系统提供术语体系管理功能。

5.3 标注人力供给方式

标注人力模式可包括:内部自营标注、第三方标注、众包标注等。

5.4 标注工具和标注平台选择

标注工具应满足以下条件:
a) 易操作性: 标注工具应降低标注人员的操作难度, 提供交互方式的自有标注;
b) 规范性:标注工具的数据导出格式,应满足或可转换到格式要求
c) 高效性: 标注工具应保证标注任务的完成效率
标注平台包含标注工具全部功能、团队管理、任务分发、质量审核等环节的模块,且将所有标注环节工具化。 标注平台需保证保密数据的安全性
数据量相对较小、数据类型相对单一、标注周期较短时,宜选择标注工具进行标注。

5.5 标注任务创建、分发、开展和回收

5.5.1 标注任务创建

创建标注任务前,将待标注数据上传。上传的导入方式有两种:本地上传(适用于数据在本地设备上);云端上传。
标注数据上传成功后,当仅靠标注工具完成标注时,在创建任务的过程中,任务责任人要事先明确标注任务的目的以及标注规范等。
创建任务包括:
a) 明确任务基本信息:包含任务目的、任务需求(任务优先级,标注人员的能力要求级别等)、任务描述等;
b) 任务配置:根据不同的任务需求,添加与标注任务相关的标注标签;

【批注】任务目的、标注规范、任务优先级、标注人员的能力要求级别、任务描述、任务允许的标签可录入系统。

5.5.2 标注任务分发

根据任务发布者确定的参数及需求,将标注任务分发给标注人员。
标注任务发布者在发布数据时,应明确与标注任务相关的参数:
a) 参与标注人数;
c) 数据标注员每人每天工作量;
e) 任务结束时间点。
标注任务的分发对象包含标注人员和审核人员。标注任务分发给标注人员时,也应将任务分发给审核人。在标注过程中,同时进行标注审核工作。
分发时,按照任务具体信息和标注需求,分配给相应的数据标注员,实现数据标注任务的优化调度,提高数据标注的效率和质量。
注:不同标注人力的供给方式也会影响标注任务的分发形式。

【批注】参与标注人数、每人每天工作量、任务结束时间点可录入系统。

5.5.3 标注任务开展

标注任务中数据标注方法分为两种:全人工标注;半自动标注。
全人工标注方式主要依靠人力进行标注,其标注的数据较精准,当标注数据量较大时,会耗费较多人力。

5.5.4 标注任务回收

在项目协定的任务将要完成时,项目负责人需回收标注作业,且需保证已分配的任务能被完整交付。自营标注团队可直接向标注人员或标注小组负责人收取。回收环节中需注意个别情况和变化的出现,如果标注人员未能按时交付,则需由候补成员继续完成剩余任务,以保证标注任务进度。

【批注】系统提供任务分配的修改功能。

5.6 标注结果质量检查和控制

5.6.1 质量检查

质量检查能够确保数据标注结果有价值,符合数据需求方的特定应用目的。根据项目特性,质量检查方法可以归纳为以下几种,标注项目负责人需要根据场景需求及项目特点进行选择:
a) 逐条检查:即对整个标注项目所包含的所有标注子任务逐一核查并确认。适用于项目量级不大、人力资源充沛、时间节点不紧张、对标注数据结果的准确率要求极高的标注项目。这种方法覆盖的质量检查范围最全,同时也适用于任何形式的数据标注场景。该方法可确保标注数据输出的最高质量,尤其对于数据格式主观成分较多、应用场景较复杂的任务更有效;
b) 按比例抽查:即从全部标注数据中科学地抽取样本,对样本中的数据逐条检查,以此评判全部标注数据的质量。样本量的选择需符合统计学基本原理,足以代表全部标注数据。抽查审核时,项目负责人可指派较有经验的审核员完成,从而确保交付质量;
c) 抽样检验又可分为以下三种:
1 ) 简单抽样:以等概率抽取 n 件待检测样本的方法。
2 ) 系统抽样:每隔一定时间或一定编号进行检测,而每一次又是从一定时间间隔内生产出的产品或一段编号产品中随机抽取一个或几个样本的方法;
在质量检查过程中,需要设定质量检查间隔,防止由于一次性不合格数据积压过多而导致延误交付。还需要根据算法要求设定质量检查合格率,增加标注人员容错率。

holer:系统默认的质量检查方法为逐条检查;质量检查间隔可录入系统;系统提供抽样检验的功能;系统提供合格率统计功能。

5.6.3 质量检查与控制中合格标准的确认

在标注结果的质量检查和控制环节,需在抽查前建立并确认合格标准,并在相关环节贯彻实施。合格标准应具备可量化特性。

5.7 标注结果输出交付要求

5.7.1 图像类型的数据

图像类标注任务的数据结果为带有标签的数据,包含标签的具体内容,及此图像标签对应的图像空间位置(可选)。不同的标注任务和要求会产出不同的结果,但不影响定义数据格式及组成部分。
输出格式推荐使用易解析、易存储的数据格式,格式包括但不限于json或xml。标注文件应该包含标注详细的标签信息。每个独立的标签应包含以下的信息:
a) 标签 id:每个标签的独立编号;
b) 文件路径:待标注图像的名称或路径;
c) 置信度:各标签的置信度;
d) 每个标签中可能包含多个对象,对于每个对象需要定义:
1 ) 对象类型:比如 bounding_box 或者 key point;
2 ) 对象详情:为对象的空间信息、内容信息,或与其他对象的关系信息。

5.8 数据交付和验收

5.8.1 数据交付

数据交付时,标注团队需对最终提交的数据量进行说明。 交付的内容应包括:
a) 标注结果 (必选);
b) 交付和说明文档 (可选);
d) 原始数据 (可选,有时数据使用方可直接访问原始数据,则无需单独交付原始数据)。
交付的文件存储结构如下。
xx数据
├─data
│ .json
│ 原始文件
└─doc
说明:
data——数据文件夹;
doc——说明文档文件夹(可选);
.json——(或.xml等)标注结果文件,可以每一个label单存一个标注结果文件,或者是所有label的结果在一个标注文件中;
原始文件——为单条标注结果对应的原始文件,如图片、音频、文本、视频;

【批注】系统应提供两种文件存储结构供用户选择,一种是符合以上标准的结构,一种是行业常用的结构。用户还可选择是否包含原始文件。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/227577.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【已解决】ModuleNotFoundError: No module named ‘tensorflow‘

问题描述 Traceback (most recent call last): File "dataset_tool.py", line 16, in <module> import tensorflow as tf ModuleNotFoundError: No module named tensorflow 如果直接pip install tensorflow&#xff0c;还会报错 解决办法 方法一 pip i…

redis未授权漏洞复现

什么是redis redis就是个数据库&#xff0c;跟mysql不同的地方在于redis主要将数据存在内存中&#xff0c;读写速度非常快 redis未授权 其原因很简单&#xff0c;就是redis服务器在默认安装好不配置的情况下可以直接免密码登录&#xff0c;登录后在web目录写入一句话木马&am…

前端设计模式之旅:命令模式

引言 使用命令模式&#xff0c;我们可以将执行特定任务的对象与调用该方法的对象解耦。 核心思想 命令模式的核心思想是将请求封装成一个对象&#xff0c;从而使请求的发起者和请求的执行者解耦。 请求的发起者只需要知道如何创建命令对象并将其传递给请求者&#xff0c;而不需…

极坐标下的牛拉法潮流计算57节点MATLAB程序

微❤关注“电气仔推送”获得资料&#xff08;专享优惠&#xff09; 潮流计算&#xff1a; 潮流计算是根据给定的电网结构、参数和发电机、负荷等元件的运行条件&#xff0c;确定电力系统各部分稳态运行状态参数的计算。通常给定的运行条件有系统中各电源和负荷点的功率、枢纽…

贪心算法:买卖股票的最佳时机II 跳跃游戏 跳跃游戏II

122.买卖股票的最佳时机II 思路&#xff1a; 想要获得利润&#xff0c;至少要以两天为一个交易单元&#xff0c;因为两天才会有股价差。因此可以将最终利润进行分解&#xff0c;如prices[3] - prices[0] (prices[3] - prices[2]) (prices[2] - prices[1]) (prices[1] - pr…

【Mars3d-ModelEntity】实现gltf模型不随地图缩放而改变大小

需求场景&#xff1a; 1.实现gltf模型不随地图缩放而改变大小 相关代码&#xff1a; const graphic new mars3d.graphic.ModelEntity({ name: "警车", position: [116.346929, 30.861947, 401.34], style: { url: "//data.mars3d.cn/gltf/mars/jingche/jingc…

python界面开发,使用wxpython库

入门学习Python时&#xff0c;使从接触一个项目开始&#xff0c;当时需要我开发一个界面&#xff0c;当时综合考量之后&#xff0c;最终选择了今天要分享的内容部分&#xff0c;也就是使用Python来开发&#xff0c;主要使用到的是Python库——wxPython库来进行界面开发&#xf…

论文阅读:Lidar Annotation Is All You Need

目录 概要 Motivation 整体架构流程 技术细节 小结 概要 论文重点在探讨利用点云的地面分割任务作为标注&#xff0c;直接训练Camera的精细2D分割。在以往的地面分割任务中&#xff0c;利用Lidar来做地面分割是目前采用激光雷达方案进行自动驾驶的常见手段。来自Evocargo …

phpstudy是什么?

PHPStudy 是一个集成环境工具&#xff0c;它将 PHP 开发所需的软件&#xff0c;如 Apache&#xff08;Web服务器&#xff09;、MySQL&#xff08;数据库服务器&#xff09;、PHP&#xff08;脚本语言&#xff09;等打包在一起&#xff0c;以便用户能够轻松安装和配置这些软件&a…

UniGUI 之UniDBGrid

目录 1]DataSource设置 2]显示MEMO类型里的文字 3]显示悬浮提示 4]显示当前记录及总记录数 5]读取所有记录&#xff0c;及分页 6]在前面加上序号列 7]不显示标题栏 8]列排序 9]编辑 和 更新 数据 10]获得某单元格里的内容 11]标题别名 12]将某列设置为CheckBox格式 13]列标题…

Redis设计与实现之字符串哈希表列表

目录 一、字符串 1、字符串编码 2、编码的选择 二、哈希表 1、字典编码的哈希表 2、压缩列表编码的哈希表 3、编码的选择 4、哈希命令的实现 三、列表 1、 编码的选择 2、 列表命令的实现 3、阻塞的条件 4、 阻塞 5、 阻塞因 LPUSH 、RPUSH 、LINSERT 等添加命令而…

【C语言】操作符详解(五)

目录 操作符的属性&#xff1a;优先级&#xff0c;结合性 优先级 结合性 表达式求值 整形提升 算术转换 问题表达式解析 表达式1 表达式2 表达式3 总结 操作符的属性&#xff1a;优先级&#xff0c;结合性 优先级 ⭐优先级&#xff1a;优先级指的是&#xff0c;如果一…

网络安全——Iptables防DDoS攻击实验

一、实验目的要求&#xff1a; 二、实验设备与环境&#xff1a; 三、实验原理&#xff1a; 四、实验步骤&#xff1a; 五、实验现象、结果记录及整理&#xff1a; 六、分析讨论与思考题解答&#xff1a; 一、实验目的要求&#xff1a; 1、掌握常见DDoS攻击SYN Flood的攻击…

Cmake基础(4)

这篇文章在上一篇的基础之上应用多文件&#xff0c;即一个项目中添加多个文件 文章目录 GLOBsource_group排除文件 上一篇文章的cmake基本不变&#xff0c;这篇文章的重点在于add_executable(${EXECUTABLE_NAME} main.cpp) GLOB file(GLOB cpp_list ${CMAKE_CURRENT_SOURCE_…

Arrays.asList()方法:陷阱与解决之道

在Java编程中&#xff0c;Arrays类提供了一系列用于操作数组的实用方法。其中&#xff0c;​Arrays.asList()​方法是一个常用的方法&#xff0c;用于快速将数组转换为List集合。然而&#xff0c;这个方法存在一些潜在的陷阱&#xff0c;可能导致出现意外的行为。本文将介绍​A…

h5 hdf5 pytables 数据库 减少空间占用的方法

方法来源&#xff1a;https://forum.hdfgroup.org/t/hdf5-deleting-datasets-and-recovering-space/1293 h5 数据库&#xff0c;在删除一些数据&#xff0c;表&#xff0c;数组后&#xff0c;无法变小&#xff1b; 或是在多次读写后&#xff0c;会越来越大&#xff0c;并且有一…

python:import 自定义包或者.py文件时出现:ModuleNotFoundError: no module named 的问题解决

问题&#xff1a; 在以下的示例中&#xff0c;wuHanMoviesSprider.py文件&#xff0c;想要import引用指定目录下的Items类时&#xff0c;出现无法识别module模块的问题(from 的引用处报错)。 原因分析&#xff1a; 正常情况下&#xff0c;被引用的包(或目录)中存在一个空文件…

vue 实现点击复制文本到剪贴板

vue 实现点击复制文本到剪贴板 共四种方法 1. navigator.clipboard.writeText该方法需要在安全域下才能够使用&#xff0c;比如&#xff1a;https 协议的地址、127.0.0.1、localhost <template><div><el-button type"primary" click"btn1"…

Docker 部署 Lobe Chat 服务

拉取最新版本的 Lobe Chat 镜像&#xff1a; $ sudo docker pull lobehub/lobe-chat:latest使用以下命令来运行 Lobe Chat 容器: $ sudo docker run -d --name lobe-chat -p 10084:3210 -e OPENAI_API_KEYsk-xxxx -e OPENAI_PROXY_URLhttps://api.openai.com/v1 -e ACCESS_CO…

ES6 面试题 | 13.精选 ES6 面试题

&#x1f90d; 前端开发工程师&#xff08;主业&#xff09;、技术博主&#xff08;副业&#xff09;、已过CET6 &#x1f368; 阿珊和她的猫_CSDN个人主页 &#x1f560; 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 &#x1f35a; 蓝桥云课签约作者、已在蓝桥云…