数据标注,人工智能背后的搬运工
人工智能指由人制造出来的机器所表现出来的智能,我们通常所说的人工智能是指通过普通计算机程序的手段实现的人类智能技术。同时人工智能也代表研究这样的智能系统是否能够实现,以及如何实现的科学领域。
所以人工智能的定义可以分为两部分,即“人工”和“智能”。“人工”比较好理解,争议性也不大,就是通常意义下的人工系统,即人力之所为。但是关于什么是“智能”,就问题比较多了。这涉及到其它诸如意识(consciousness)、自我(self)、心灵(mind),包括无意识的精神(unconscious mind)等等问题。人唯一了解的智能是人本身的智能,这是普遍认同的观点。但是我们对我们自身智能的理解都非常有限,对构成人的智能必要元素的了解也很有限,所以就很难定义什么是“人工”制造的“智能”了。因此人工智能的研究往往涉及对人智能本身的研究。其它关于动物或其它人造系统的智能也普遍被认为是人工智能相关的研究课题。
总体来说,人工智能是一门边缘学科,属于自然科学和社会科学的交叉。因此,涉及到十余门学科,涵盖物理学、哲学和认知科学、逻辑学、数学、统计学、心理学、计算机科学、控制论、决定论、不确定性原理、社会学、犯罪学、智能犯罪等众多学科。
目前普遍观点是人工智能在智能控制、机器人学、自动化技术、语言和图像理解、遗传编程、法学信息系统、娱乐、医学等领域得到大范围应用。但是,人工智能的规模化、成熟化应用需要海量的数据作为支撑,可以这样说,数据的质量在一定程度上决定了人工智能的“智能“化程度。
那么,光鲜亮丽的“人工智能”背后的“数据标注”到底是怎么回事?龙猫给您解答。
首先得说清楚“机器学习”、“深度学习”和“人工智能”之间的关系,很多人对这几个概念的边界并不清楚。其实要分清楚这几个概念也简单,机器学习:一种实现人工智能的方法,所以机器学习是站在人工智能背后的男人。深度学习:一种实现机器学习的技术,那么,深度学习应该就是机器学习的得意门生。那么,这里面又有“数据标注”什么事呢?
通俗来讲,机器学习可以分成下面几种类别:
无监督学习:无监督学习与监督学习相比,训练集没有人为标注的结果。常见的无监督学习算法有生成对抗网络(GAN)、聚类。
监督学习:监督学习从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出,也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类。监督学习和非监督学习的差别就是训练集目标是否人标注。他们都有训练集且都有输入和输出。
半监督学习:介于监督学习与无监督学习之间。
增强学习:增强学习通过观察来学习做成如何的动作。每个动作都会对环境有所影响,学习对象根据观察到的周围环境的反馈来做出判断。
因此,高质量的数据集对于监督学习来说可以是至关重要的,而数据集就是数据标注的产出成果。
数据标注一般来说可以分为分类标注、标框标注、区域标注、描点标注和个性化标注等几类。
分类标注:就是我们常见的打标签。一般是从既定的标签中选择数据对应的标签,是封闭集合。比如说有一张图,我们就可以对他有很多分类/标签:成人、女、黄种人、长发等。对于文字,可以标注主语、谓语、宾语,名词动词等。
标框标注:机器视觉中的标框标注,很容易理解,就是框选要检测的对象。如人脸识别,首先要先把人脸的位置确定下来。行人识别。
区域标注:相比于标框标注,区域标注要求更加精确。边缘可以是柔性的。如自动驾驶中的道路识别。
描点标注:一些对于特征要求细致的应用中常常需要描点标注。人脸识别、骨骼识别等。
其他标注:标注的类型除了上面几种常见,还有很多个性化的。根据不同的需求则需要不同的标注。如自动摘要,就需要标注文章的主要观点,这时候的标注严格上就不属于上面的任何一种了。
可以这样说,数据标注就是建造“人工智能”这座大厦的搬运工,参天大厦的一砖一瓦都可以说离不开数据标注的功劳。但同时正像是大厦一样,外表光鲜靓丽,谁也不会去关注背后的“砖瓦”。
一般来说,做人工智能的企业都离不开数据标注。就像房地产公司也离不开工程队一样,所以,有能力的企业会自己招聘数据标注人员。但是,其实数据标注已经形成了好多规模化的众包公司。
这样只需要企业提供相应的要求,甚至连数据集都可以交由众包公司去完成收集。因此,“大量经过训练的可扩展标注员+具有AI经验的项目经理+严苛的QC质检流程=快速获得优质标注数据”。其中项目经理的职责就是负责对接客户的需求,澄清一些可能混淆的地方,并且把标注文档简单化,易于标注员理解,然后组织整个标注流程包括培训标注员+筛选合格的标注员+员工激励等。
把数据标注交由众包公司的话,就会面临一些其他问题,对于甲乙方最关注的问题就是数据标注的质量问题。继续之前的比喻,房地产的工程队也质量层次不齐,市场鱼龙混杂。但是一个好的房地产公司会通过各种遴选标准筛筛选出符合起需求的工程承包商,同样,例如百度、阿里、腾讯等大型人工智能企业,也有自己长期合作或者扶持数据标注众包公司。
龙猫数据旗下拥有众包平台「龙猫众包」:移动端APP以及Web端标注平台,其中众包用户已突破400万,单日可完成百万量级以上的数据样本任务,可满足不同领域的多种定制化数据需求。 龙猫数据放眼全球,不断关注技术更新,适配新的需求,在推进数据服务领域取得更大进步的同时,也将反哺其标注系统的完善,为全球AI企业提供更优质的数据服务。
龙猫数据——专业的AI数据服务商