互联网的未来Python机器学习

从小白到入门算法,我的经验分享给你~

2019-04-30  本文已影响86人  文哥的学习日记

研究生三年,作为一名非计算机专业的学生,能够从一名纯小白(Python不会,机器学习没听说过)到最后校招拿到几个不错的offer,个人感觉可以给自己打个及格分吧。写本文的目的,一是对自己研究生阶段所学习的知识做一个总结,二是希望对那些刚接触机器学习,准备往这个方向发展的同学们提供一些可借鉴的经验。

1、入门Python,掌握数据分析常用工具

第一次接触Python是在2016年4月,本科阶段的工作差不多完成,就开始联系研究生阶段的导师,希望能够跟他做一些项目。他给我安排的第一个工作便是使用Python爬取空气质量数据,并告诉我可以使用scrapy这个库。我与Python的邂逅,便从这个爬虫开始了。

由于上来就写的是爬虫,所以关于Python的基础我也没有系统的学习,不过还是推荐给大家廖雪峰老师的免费教程:https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000

如果想要深入了解一些Python的知识,推荐大家学习《流畅的Python》一书,封面如下。这本书我看了前面的九章,讲的十分不错,加深了自己对于Python里面内存管理、常用函数、类等的认识。

除了Python的基础知识,想要往数据分析、机器学习方向发展的话,还需要掌握一些常用的库,包括Pandas、Numpy、Matplotlib、Sklearn等等。

关于前三个,推荐的书是《利用Python进行数据分析》:

关于Sklearn的使用,包括调用常见的机器学习算法、使用网格搜索寻找最优的参数,可以参考的一本书是《Python机器学习及实践 从零开始通往Kaggle竞赛之路》

如果上面的书你都看完了,我觉得算是入门Python数据分析了。

2、初识机器学习,反复读反复看

第一次听说机器学习这个名词,大概是在2016年8月份,是我现在的舍友向我提到的,当时并没有太在意,直到研究生阶段开始,才慢慢有所接触。当时身边的人的普遍反应是,这家伙大家都在学,特别能挣钱。也许当时自己也是想着能多挣钱,才会开始入门机器学习的吧。不过现在,已经开始慢慢把机器学习当做一种兴趣,一种爱好去看待了。

想必大家都知道,入门机器学习,不得不看的三本书是吴军老师的《数学之美》、李航博士的《统计学习方法》和周志华老师的《机器学习》,也就是所谓的西瓜书。

但是有时候,有些算法比如SVM,说实话两本书讲的都不是最好的,还是得结合网上比较流行的帖子进行学习,整理了几个我看过的一些比较好的帖子,分享给大家:

SVM:http://blog.pluskid.org/?page_id=683
Word2Vec:https://blog.csdn.net/itplus/article/details/37969519
EM算法:https://blog.csdn.net/randy_01/article/details/88407432

其他的算法,大家结合两本书进行学习就可以了。值得一提的是,Xgboost和LightGBM是在面试阶段比较常考的两个机器学习方法,但是在上面的几本书中都没有涉及,我之前整理了一个简单的帖子,希望对大家有所帮助(最后的参考资料里面会有)。

除了书籍资料外,视频资料推荐的主要是吴恩达老师和李宏毅老师的机器学习入门课,地址如下:

吴恩达机器学习:https://www.bilibili.com/video/av50747658?from=search&seid=9310704140991725193
李宏毅机器学习:https://www.bilibili.com/video/av35932863?from=search&seid=16150707490146939986

如果你是刚入门机器学习的话,我的建议就是反复看,反复读,直到你能不依靠书本将模型的原理解释清楚为止。

3、面试不断碰壁,Leetcode得刷,得多刷

理想很丰满,现实很残酷,在自己刚学了点机器学习知识的时候,就出去面试闯荡,结果却是不断的碰壁,机器学习理论和经验少是一方面,数据结构题也是一问三不知,能想到的,只有时间或者空间复杂度最差的那种解法。所以我说啊,Leetcode不仅得刷,还得多刷。

不过咱也没必要着急,你得有一个计划,比如每天做三道五道,日积月累才行。尽管我现在在面试的过程中还是有一些问题写不出来,但大部分情况下,还是能够得到一个比较优的解。

关于刷leetcode这事,你可以往两个方向上走。一是按照从easy到medium到hard的方向。二是按照分类走,比如先刷树相关的,再刷数组相关的,依次类推。我自己是用的第一种方式啦,不过从校招面试的经验看,面试官关注的题主要集中在数组、链表、二叉树和动态规划上面,可以先把这几部分的弄明白。

在语言选择上,建议还是不要用Python吧,Python的小trick还是有点多的,就比如字符串表达式的值,我们用eval函数就可以得到,但是在真正面试的时候,这样是绝对不行的,所以建议还是Java或者C++吧。毕竟这两门语言,你总要掌握一门的。

除了在Leetcode上面刷题外,有两本书可以给大家参考,一是《剑指offer》,二是《程序员代码面试指南:IT名企算法与数据结构题目最优解》,封面如下:

4、相遇深度学习,论文积累是关键

关于深度学习,也是研一下才开始慢慢学习的,当时主要接触的是CNN、LSTM这些个算法,对于一些比较深入的如GAN、Seq2Seq、Transformer之类的,还没有接触。真正带我相遇深度学习的,可以说是李宏毅老师的深度学习课:https://www.bilibili.com/video/av9770302?from=search&seid=6099263941108862254

当然,吴恩达老师的课也十分精彩:https://mooc.study.163.com/university/deeplearning_ai#/c

除此之外,不得不提的一本书是我们所谓的深度学习圣经,不过说实话,我觉得这本书虽然写得好,但还是有一定阅读难度的:

个人感觉,深度学习这东西,重在不断积累和反思吧,多读论文,多写代码。论文的话大家平常可以多关注PaperWeekly这个公众号,代码的话我建议如果论文给出了参考代码,大家可以尝试着去敲一敲,不仅加深自己对于论文思路的认识,还可以提升自己的动手实践能力。

5、推荐与计算广告,广度优先VS深度优先

在整个研究生阶段,我其实并没有形成一个主要的研究方向,大家可能看我平时的公众号推荐系统相关的东西比较多,但我并不是研究这个的,主要还是自己对这个东西比较感兴趣,所以看的多了些。推荐系统的两本入门书籍是《推荐系统实践》和《推荐系统与深度学习》:

深度学习领域还是挺多的,如推荐系统和计算广告、CV、NLP等等,这就引出了广度优先VS深度优先的问题。个人感觉还是深度优先为主吧,确定好自己的一个研究方向,然后在这个领域进行深挖。不过同时,也要兼顾广度,深度学习的东西都是相通的,比如Transformer最开始主要应用于文本领域,GAN主要应用于图像领域,这两种方法现在也都开始在推荐系统中使用。

最近自己要开始研究计算广告方面的知识了,因为自己入职之后可能从事这一方面的工作,那还是给大家推荐两本书吧,一本是大家所熟知的《计算广告》,另一本是黄皮书《互联网广告的市场设计》,想要入门这个方向的同学,建议先看黄皮书,再看《计算广告》一书。

6、Hive和Spark,数据处理的标配

Hive和Spark大家还是要学一下的,使用Hive来存储数据,使用spark sql和Hive sql来处理数据,感觉是互联网里面的主流方式。关于hive,掌握一些常用的函数的使用方法,如concat_ws,row_number,case..when,if,get_json_object等等,对于spark sql,掌握其运行的基本原理,以及一些常见问题的处理方法。首先,学会如何处理数据倾斜,有时候因为一个数据倾斜问题,一整天都浪费在调试一个spark代码中了,其次,学习如何尽量减少spark任务的空间占用,同时加速spark任务运行速度,spark作业在线上调用时,会占用公共资源,你的任务占用的资源越多,别人占用的资源就越少,同时,如果你的任务运行的快,也可以给别人的任务更多的空间。spark可以通过很多语言来实现,不过我建议还是学习一下scala吧,毕竟可以和java无缝衔接。除了spark和hive,掌握一定的excel知识也是必要的。

那么这里有两本书推荐给大家,《Hive编程指南》和《Spark内核机制解析及性能调优》:

好了,分享了这么多,小编把上面提到的一些学习资料进行了整理,除了《互联网广告的市场设计》一书没有找到pdf资源外,其他的都整理好了,目录如下:

想要获取上述资料么?关注微信公众号 “小小挖掘机”,后台回复“经典资料”,即可获得下载链接。谢谢大家的关注和支持,小编后面会继续努力的!

上一篇下一篇

猜你喜欢

热点阅读