数据分析解密大数据程序员

数据之缘

2017-02-26  本文已影响305人  yutingle116

站在2017这个时间点上,回望研究生生涯论文制作的时候,经历了问卷搜寻数据,用spss分析处理数据,做成论文输出的过程,现在想来,那段摸索的日子,竟可以算是我与数据实践缘分的开始。

站在2016年的尾巴上,和很多人一样,是在罗胖儿的跨年演讲上,重新认识了大数据这只黑天鹅。然后阅读了一小部分关于科学人工智能的书籍。

奇点临近,智能时代,未来简史,开始慢慢有了一些自己的浅见。

隐约觉得就这样理解还不行,太抽象,想起在新生大学的回顾里钱晓虎同学分享的,我眼中的大数据,顺藤摸瓜发现了这位大神的微信公众号,又开启了一片新天地。

还依据tiger的演讲制作了一幅简单的思维导图:

数据之缘

然后tiger告诉我,他开数据课的班了,在笑来老师已经启蒙了我社群的意义和社群新可能的情况下,没想太多我就加入了,按照之前的计划是英语口语也很重要的,自此以后,得学数据分析和编程了,不过用英语的过程中练习也是可以接受的。事实上,主动学习的过程本身就是明确价值观的过程,什么重要,什么最重要,所以选择就是价值观的折射。

之所以会做出学习数据的选择原因如下:

第一个原因在于:源于社会正在经历重大的变革,从阿尔法狗击败了李世石开始,人工智能深度学习领域已经远超所有人类的想象,算法的能量大放异彩。智能革命已来,快到无法想象。

而我之前的领域是心理学,是属于意识的领域,而大数据和编程,在我的理解更接近智能的领域。

智能和意识哪一个更加有价值,一千个读者一千个哈姆雷特。

还有一个原因在于:我明白付费就是捡便宜。

在更新过付费就是捡便宜的观点之后,我们最宝贵的资源就是我们的注意力,我们用自己能控制的部分,把注意力放在真正重要的事情上,践行复利原则。

回顾付费对自己进行投资的这段时间里,收益最多的是我自己,从樊登读书会,到笑来老师的通往财富自由之路的专栏中更新到的概念和方法论,可能并不亚于我这么多年的求学之路。

原因之三在于:社群的意义,社群的意义在于见识,见识决定一切。

一个人的见识,就是他的天花板。

离这个行业很近,离这个风口很近,离这些牛人很近,即便物理距离很远,心理距离可以很近,这是只有最近这几年才有的时代红利,这是最好的时代。

社群对于我的意义更在于,明白我并不孤独,明白原来缠绕着我的这些问题真的很重要,而且很多小伙伴已经行动起来很多年,现如今真的变得这么强大了。直接提升行动力。

在这么强大的社群中,你也能看到它们当初的样子,我进一步明白积累的意义,明白什么是和时间做朋友,于是,想不进步都难。

于此,欢迎大家添加我的微信好友:微信号是liyuting116。我先是一个渴求进步,并且一直践行的人,希望遇到更好的小伙伴,大家一起互相监督,相互促进,一起成长。

另,年初制定了一些采访计划,想要更加深刻的了解社会的各行各业和各种人,对于入职场一年半的新人来说,还请大家帮帮忙不吝赐教。

二、数据必读书——黑天鹅读书笔记和读后感:

从前有一个火鸡,每天都有一个黑影来喂食,一天一天过去了,你慢慢觉得适应,觉得安全,你并不知道,事实上你也意识不到,喂你是为了更好的吃掉你。当巨大的危险来临的时候,你却觉感觉到越来越安全。然后呢,然后火鸡就出现在了感恩节的餐桌上。

问题来了,你如何知道你不是这个火鸡呢?

我们所依赖的认知路径真的安全吗?

那么,黑天鹅现象是什么?

黑天鹅事件指非常难以预测,且不寻常的事件,通常会引起市场连锁负面反应甚至颠覆。

黑天鹅事件具有意外性,即它在通常的预期之外,也就是在过去没有任何能够确定它发生的可能性的证据。

黑天鹅现象会产生极端效果。

最后,虽然具有意外性,但人的本性促使我们在事后为它的发生编造理由,并且或多或少地认为它是可解释和可预测的。

我们是如此依赖我们的认知路径,却难以发现,这种认知路径可能带来的危害。

是一个人类算法的非系统性的偏差,认知需要简化,所以,如无必要,勿增实体,人类知识史上最伟大的原则叫奥卡姆剃刀原则,也就是说,怎么简单怎么来。

人们或多或少都会犯这样的错误而不自知。

黑天鹅这本书就是分析如果我们像火鸡一样,以一种浑然不自知的未必足够客观的方式提炼信息,当黑天鹅事件降临到火鸡身上时,火鸡却至死也不知为何。但事实上,从人的角度来看,这是一件无比正常的事情。

这就可以理解,人类像火鸡一样,并不明白黑天鹅事件,但事实上,从概率分布和上帝视角上来看是很正常的事情。

黑天鹅现象的内在机制之一:证实谬误。

人类在认知方面很自大。

我们不能像火鸡一样只靠过去的经验来判断,然而,我们却习惯于依赖经验判断。

也就是说,在黑天鹅事件面前,人们之前的认知模式不够用,人们看到的东西并不一定全面,

就算信息全面,我们的理解系统也未必能对客观世界完全理解。

这些本能是我们的困境所在。

黑天鹅现象的内在机制之一:叙述谬误。

我们只注意到进入我们思维的精确而生动的具体事件。

我们便好肤浅的,简单的,故事的东西,从神话传说开始盛行的时候,人类就喜欢虚构类的,情绪跌宕起伏的,故事情节的,意料之外情理之中的故事。

现在,我们更偏好于这样的故事:喜欢一个普通人,从已知的世界到未知的世界,经历了一系列的小磨难以后,面临终极考验,很惊险的,主人公战胜了这个终极考验,完成了小人物到大英雄的转变。

黑天鹅是我们不去简化的事物,或者说,我们暂时无法找到合理的原因,于是就倾向于不记得他。

原因在于,数据中可以提炼出信息,信息中可以提炼出知识的,信息的获得和储存是需要代价的,需要牺牲我们的注意力和认知资源的。

思考快与慢的作者卡尼曼提到过,系统1、系统2,即经验模式和认知模式。

系统1是不费力的,自动的,快速的,模糊的,平行的,情绪化的,反应迅速的,易出错的直觉。

系统2是逻辑的,费力的,连续的,渐进的,有自我意识的,反直觉的思考。

事实上,人类的大脑并不擅长于思考,需要脑部锻炼让这个能力越变越强。

我们的大部分的推理错误来自当我们以为自己在使用系统2,而事实上却在使用系统1时。

在长期以来的进化过程中,我们定然是系统1的精炼使用者的后代。

在非洲草原上,突然出现了一只狮子,第一反应如果是用系统2的人类,在分析处理思考之前,早就被狮子吃掉了,只有看到狮子的第一反应是逃跑的人类,才能更好地活下来不是吗。

黑天鹅现象的外在机制主要在于:我们对于信息的处理和解释存在缺陷。

世界上的人分两类,有的人就像那只火鸡,面临巨大的灾难却不知情;有的人正好相反,它们等待着让别人大吃一惊的黑天鹅事件的发生。

没有对错好坏,只是策略不同而已。

一个只能被动承受,一个选择积极主动,不知人群中的分布是否符合二八法则,只是结果的降临的最终承受者都是选择者自己而已。不知何时种下的因,终会自己知道果,或许很多人竟然都不知道为什么自己会遭遇这些,仅仅因为他们的认知升级并没有达到理解正常因果的条件。

世界的规律告诉我们,因果并不是及时回馈的,事物的发展也并不是线性的,因为重要且有意义的事情对大多数人而言都是乏味的,需要动力的,容易放弃的,很难及时看到结果的,所以,有了足够耐心的人,可以等到非线性跳跃的结果出现的时候,奖励自然非线形降临。

在信息日渐对称的互联网社会,对于个体而言,存在着大量的贵人和机会,只要你真的持续学习践行,有能力有闪光点被发现,真的能创造出价值,终有一天可以被市场承认价值。

培根在《新工具》中写到,“很明显,问题在于这些伟大的发现很快遗忘,除非它们被系统化的灌输给我们,或者融入我们的思维方式”。

我们很容易看不到所有的历史上发生过的沉默的证据。

一个人成功了,你去采访他,成功的因素是什么,他会回答你,勇气,冒险精神、乐观等等。

你去了解一个已经躺在坟墓里的失败者们,它们也有如下的共同点,勇气,冒险精神、乐观等等。难不成,或许真的只是运气的差别而已?我们不得而知。

我们喜欢听成功的故事,但我们却看不到全部的事实,成功者有意或无意将某些部分隐藏起来。

如果有一个人在2001年911,知道如何避免911,如果他真的去做了,世界就不会发生911,然而,他会是拯救世界的英雄吗?他或许,更可能只是一个默默无闻的议员。

因为因果关系并不是我们想象和归纳的如此简单和线性,所以我们对待因果关系时需要谨慎,a事情真的是b事情的原因吗?有没有可能有别的沉默的证据导致a事情并不是b事情的原因。

多思考一步,解决问题的信息又不一样,或许,问题解决方案会更加的客观。

或许我们真的一无所知。

我们再来看一种情况,肥托尼缺乏文化,可以毫不费力的赚钱,能够通过自己的魅力获得电话簿上所没有的电话,只需要和他闲聊就可以更加了解这个世界的运转方式。他可以更好的站在框架以外思考问题。

约翰博士,高学历,工作努力,理智,温和,按部就班,思维被条条框框框住,比较而言更加封闭。

学校知识的简化和反启蒙特性阻碍了人们对现实生活中的理解。

现在我们来看一看中国的版本,这就是现实生活中的成绩很好的孩子们都为成绩中下游的孩子打工的故事。

在现实生活中面临的不确定性和我们在考试和游戏中遇到的简化情况之间并没有什么相同之处。

了解了这么多忽视黑天鹅现象的内在机制和外在机制,我们可以如何做呢?

我依据书中内容总结了以下几点:

1、因为我们可以看到的信息不一定全面,尽量客观的察觉到更多的信息,在重要的决策上,从多视角来看待问题。

2、强调实验而非讲故事。

3、另一个方法就是预测并记录预测的结果。

4、我们可以利用叙述,但要用于好的方面,我们可以在一个传递正确信息的故事中,运用我们的说服能力。

5、远离叙述谬误的来源:关掉电视、媒体、不看博客,训练推理能力以控制决策,对重要决策不使用系统1,训练自己辨别情感和经验事实之间的区别。记住概率方面我们的肤浅。

我们再来看个体的黑天鹅现象和认知偏差的关系。

认知偏差是可以个体通过对于信息和数据的处理,尽量的客观,从信息处理的角度训练自己少犯首因效应,晕轮效应,投射效应,近因效应导致的问题。校正认知和决策。

我的理解是:认知偏差是黑天鹅事件发生的充分不必要的条件。

相同的点在于都可以通过提高思考能力,逻辑能力训练,认知的升级,是我们的看法决策更加的客观一点点,避免一部分问题。让我们更加理智,显得更加聪明。

黑天鹅事件未必完全是由认知偏差汇集而成的,还有其他的因素。

就像是过马路,你看清楚了(清醒的知道认知偏差)依然可能被撞飞,但看不清楚的人,是不是更容易被撞飞?认识不到认知偏差的个体,在极端斯坦中,更容易不明白黑天鹅的结果。

能够更具逻辑的思考,避免认知偏差的个体,更容易像肥托尼一样,进入更加智慧的领域。

以上只是我阅读黑天鹅第一部分的读书笔记,只是黑天鹅精彩的一小部分而已。

却也足够启发我很长远的时间,我相信对你一样会有帮助的。

欢迎就此书籍沟通交流,批评指正,我的微信号是liyuting116。谢谢你看到了这里。

上一篇下一篇

猜你喜欢

热点阅读