新课发布 | 一站式商业爬虫训练营

有一件有趣的事情：虽说市面上有不少爬虫框架，但是大多数公司的成熟爬虫项目还是会选择自己造轮子、自己写一个爬虫框架、自己维护。这是为啥？

因为真实世界的爬虫需求是复杂多变的，而已有的框架往往可定制性比较差、也都有不尽如人意的地方，无论是反爬上还是在部署上，都无法灵活满足商业需求。

于是，富有丰富商业爬虫经验的皓禹老师和擅长做 PPT 的侯爵老师一拍即合，决定把企业里如何从零搭建爬虫框架的秘籍教给大家。

实际上不仅仅是框架，更是一套资源整合的、全面的、靠谱的一站式解决方案。

这套一站式方案中包括了符合国情的反爬、方便快捷的部署、数据工作流的无障碍通行、快捷绘制数据分析图表，可以减少很多开发和学习成本。

这次课程选择了主要在线下进行授课，因为线下教学体验更适合高强度爬虫训练，可以更高效的手把手传达经验，省下自学和踩坑的时间。希望能吸引到真正有决心把爬虫啃下来的同学。

课程安排

3月11日-3月15日

线上学习，侯爵老师授课

• 环境安装和编程常识

• Python 的基本语法规则

• 爬虫的基本原理

• 数据存储的基本原理

• Python/爬虫/网络知识/docker知识大杂烩

3月16日-3月17日

线下手把手传授，皓禹老师+侯爵老师

3月16日上午

主题：《如何写出不踩坑的爬虫》

1. 如何快速构建一个安全的爬虫？——模拟真实请求（webdriver, header, UA, requests, aiohttp）

2. 如何分析网站？——元素定位的经验（Chrome 定位, 分析网页 API）

3. 如何准确获得想要的数据？——解析与数据规整（BeautifulSoup, lxml, 正则）

4. 现场指导练习

3月16日下午

主题：《如何写出反爬能力强的爬虫》

1. 如何解决四大反爬验证：header验证、cookie验证、IP频率验证、auth验证？——反爬应对的策略（突破 reddit 网站的 header 验证，突破煎蛋的cookie验证，突破豆瓣电影的IP频率验证，突破知乎的auth验证）

2. 如何处理业界疑难杂症：动态加载问题？——反爬应对的经验（突破网易严选的动态加载）

3. 如何发现数据投毒？——反爬应对的技巧（突破某网站的数据投毒）

4. 一些只能私下分享的爬虫和反爬套路

5. 商业爬虫实战：微信公众号爬取

3月17日上午

主题：《如何写出商业级的分布式爬虫》

1. 如何爬取手机端？——抓包与接口破解（突破微信公众号、大众点评app的手机端抓取）

2. 如何提升爬虫效率瓶颈？——高并发爬虫的设计（多线程、多进程、协程）

3. 如何使用分布式爬虫框架？——理解分布式爬虫

4. 商业爬虫实战：京东分布式爬取

3月17日下午

主题：《如何写出商业级的工程化爬虫》

1. 如何造轮子写出一个分布式爬虫框架？——深入分布式爬虫的设计（下载器-解析器-调度器-数据处理器-数据存储postgresql-数据展示-定时爬取）

2. 如何部署分布式爬虫？——使用 docker 快速实现分布式

3. 商业爬虫实战：大众点评app爬取

导师介绍

皓禹老师

8年 Python 经验，商业爬虫经验丰富。曾任区块链创业公司 CTO，曾任搜狐社交产品中心服务端负责人，猎豹高级工程师。

侯爵老师

麻瓜编程创始人。20万读者喜爱的《编程小白的第一本 Python 入门书》作者。设计背景，自学编程时发现市面上很难找到适合小白的学习资料，于是开始用生动易懂、视觉化的方式来创作教程。

预约报名

本期训练营只招收30名学员，报满后截止。

上课地点：北京朝阳区

食宿安排：包课程期间午餐，住宿自理。

预约要求：

学费为3000元，通过审核后才能付费。

预约报名加林茜茜（微信号：794498950），可扫码添加。

课程FAQ

Q：零基础可以参加么？

零基础可以参加，提前线上5天会带着你补齐基础知识、安装必备环境。

Q：学了之后可以达到什么水平？

达到爬虫熟手的水平，能爬取95%以上的网站和app，获得千万级以上的数据。

Q：是否有老学员优惠？

有的，参加过麻瓜编程课程的老学员，可以联系林茜茜获得200元优惠。