传统数据到大数据的转变及影响
21世纪是一个数据时代,“大数据”这个词汇正逐渐进入不同的领域发挥自己的作用,那么“大数据”技术到底是在怎样的条件下产生的?
1.认识数据
在说大数据之前我们得首先明白数据是一种怎么样的存在,“数据”无论在哪个时代都是相当重要的,战场的情报,商业的机密实际上都是数据的体现,这里我们要明确数据不仅仅只是一串冰冷的数字体现的,他可以以各种形式出现。
2.早期数据的收集方式
最初的数据都是通过人为采样的方式来收集,并不是不愿意进行普查因为数据的一个很重要的特性就是及时性,而普查是一件很耗时费力的事情,早在1086年英国有一本《末日审判书》,这本书是由英国国王威廉一世发起的用来对当时英国的人口,土地和财产进行详细的记载。但是在信息收集完成之前,威廉一世就去世了。同样的,在其他领域信息收集的速度远远慢于信息的改变速度,所以后来改为采样的方法,形成了“样本=总体”的思维模式。
3.现代数据的收集
数据走到了现代,由于现代互联网技术的发达,信息的传播速度已经发生了大大的改变,只需要轻点几个按钮,浏览几个网页有关你的数据就会被主动或被动的发送到相关人的手里。这大大缩短了信息的收集过程。举个例子:谷歌曾通过对流感地区搜索的相关词条进行排列得出了几千万组的数学模型,通过不断的测试成功的出了可以预测流感的模型。这时候“样本=总体”的思维模式转变为“大数据=总体”,这也就是我们所谓的“大数据”。
4.方式转变背后的影响
a.不再需要通过采样少量数据进行处理来得到我们想要的东西,过去的人们由于技术的落后无法收集运用大量数据,但是现在我们已经具备了这样的能力,可以收集更多的数据来面对各种不同的问题(过去的采样只能针对某种问题,一旦改变的话过去的数据可能不再适用)。
b.过去的数据需要准确,但是在大数据面前我们允许混乱允许误差允许不同的声音,因为我么得明白错误的数据不只是大数据才有,这是数据的一个基本属性,只要有数据就有储蓄哦的可能。大数据允许错误的出现一方面减轻了人们的负担另一方面也会促使不同结果的出现。
c.人们不再需要去找到因果关系,过去人们需要通过对少量数据的分析去找到事物间的因果关系从而让我们可以运用这种关系来解决其他的相似的事情。但是大数据不再关注因果的关系跟多的是相关关系,通过表象的一些东西来找到相关性。具体的例子就是马云通过人们在淘宝的购物记录得出浙江人的胸部较小,这就是相关性。但是因果性的话就是马云去寻找为什么浙江人的胸部为什么这么小。这里面会有很多因素,但是通过相关性的使我们避免了这样的问题,更好的运用了结论。
如果觉得可以,希望大家可以关注我的订阅号:贾科斯的生活思考