新型社交机器人存在的证据和检测工具--(The Paradigm
摘要
最近有关社交媒体的研究表明,有新一代的机器人叫做社交机器人。这里,我们第一次研究这种现象,表明机器人确实存在着这种趋势的变化。首先我们评估了推特当前检测新型社交机器人的能力。然后我们区分了分类人类账户,传统社交机器人和新型社交机器人人类的表现。对几种学术上提出的最新技术做了测试。表明无论是推特或者人类或者应用都不太能检测新型的机器人。需要新的方法检测新型的社交机器人。通过研究分析,突出了一种新兴的常见的研究趋势。并且我们的见解阐明了未来有效的研究方向。
介绍
当前在线社交网络中的社交机器人的复杂性不断进化。新的社交机器人的趋势汇总,基于特征的对于单个用户账号进行检测的方法已经不再有效。有趣的是对于在线账号专注于组账户的方法能够有效的标识用户的异常行为。我们的主要贡献是以下几点:
- 提供了推特上新型机器人存在的证据
- 评估了当前优秀的技术能否识别新型社交机器人
- 严格的修订了新的研究趋势,就是通过对一组机器人进行研究
- 通过使用众包检测技术来对数据集进行标注绘制新的准则
- 最后发布了一个带有标注的数据集包含了人类账户,传统机器人账户和新型的社交机器人账户。
数据集
数据集的组成真实世界的实验
推特的监督
推特的监督情况为了调研推特当前是否有能力检测并删除社交机器人账号,可以看出传统的社交机器人的一部分能被检测出来,但是大部分账号仍然活跃着。而且通过研究发现账户被暂停的情况主要取决于账户的行为而不是账户建立账号的在网时长。
众包实验
- 为了测试是否人类能够分辨社交机器人
- 人类是否能够成功的分辨传统机器人,社交机器人,和人类账号
于是混合了一个数据集,让人类来分辨这些机器人。测试的结果如下:
发先大部分人能够明显的分辨出传统的机器人,但是没办法分辨出新型的社交机器人。表明社交机器人和传统机器人存在惊人的差异,没有办法将其分辨出来。并且众包实验表明,传统的一个账户一个账户的标注来检测机器人账号,已经不再可行了。
已有的技术实验对比
对BotOrNot,有监督方法和通过推特流的无监督方法和通过图聚类的无监督方法在数据集上进行了实验结果如下
流行的几个检测技术结果对比
可以发现现有的几个方法在新的数据集上即有新的机器人的数据集上表现不是很好。(14)是本文新提出的研究趋势对应的一个方法,描述见下节:
研究趋势
本节为了回答是否有新的维度能够战胜并克服新型的社交机器人。
本问题的答案可能能够揭示社交机器人检测接下来研究的努力方向。
几个新型工作带来的关键观念
表中是09-16年一些新型研究工作带来的关键思路总结
同时对其中的两个研究工作【40】和【14】进行了分析,发现用DNA进行行为建模的方法能够很好的检测出新型的社交机器人。
检测机器人的方向和道路
通过对几种方法的研究,发现接下来对于账号组的相关研究是以后较为有效的方向,因为无论一个账号如何变得复杂,一组用户都会留下自动话的轨迹,因为这些自动化的账号都有相同的目标。
总结自--<font size=2>Cresci, Stefano, Roberto Di Pietro, Marinella Petrocchi, Angelo Spognardi和Maurizio Tesconi. 《The Paradigm-Shift of Social Spambots: Evidence, Theories, and Tools for the Arms Race》. 收入 Proceedings of the 26th International Conference on World Wide Web Companion - WWW ’17 Companion, 963–72. Perth, Australia: ACM Press, 2017. https://doi.org/10/gf3g5v.</font>