Python爬虫实战丨高能预警，抖音小姐姐视频集来了！

前言

前方高能预警！抖音小姐姐视频集来了！

总感觉抖音小姐姐连一个手势都能擦出不一样的火花，她们有一千种模样，我就有一万种喜欢，没有看够怎么办？！

如果你感觉学不会？莫慌，小编推荐大家加入群，

前面960中间410后面445，群里有志同道合的小伙伴，

互帮互助，还可以拿到许多视频教程！

双十二福利来了！这次Python爬虫实战篇，爬的就是当下大火的抖音小姐姐视频。问我pick哪位小姐姐，当然是唱歌老跑调，跳舞数拍子的杨超越了。

本文主要讲解：

抖音视频爬虫

视频下载

抖音视频爬虫

抖音使用的智能推荐机制。我们这里依旧是通过fiddler抓包（Fiddler是一款常见的抓包分析工具，对数据进行截获、重发、编辑、转存的过程叫做抓包）。现在的抖音有加密算法，之前网上的大部分代码都不能用了，我们先看看有哪些加密字段。

https:

//aweme.snssdk.com/aweme/v1/aweme/post/?iid=40337863888&device_id=35102252294&os_api=18&app_name=aweme&channel=App%20Store&idfa=11926ED5-C282-4BBC-AF01-0E8C18120647&device_platform=iphone&build_number=23101&vid=177A5A79-D6F6-4A03-9352-57C0681CDDDC&openudid=1ee725d39e05794bcdc14537f8c1f4220c7d6fd5&device_type=iPhone8,1&app_version=2.3.1&version_code=2.3.1&os_version=11.4.1&screen_width=750&aid=1128&ac=WIFI&count=21&max_cursor=0&min_cursor=0&user_id=58554069260&mas=01bf537030d65155897d6fd1d7c97862dbca9722fea8c96d2b68de&as=a1858817de104b87435065&ts=1534297870

这里主要是mas和as参数不知道咋构造，这里因为只是爬一个用户的数据，所以把整个url都copy到txt中，然后请求获取数据。

视频下载

在网上看说，这个链接只有10多分钟的有效期（没有验证），所以爬虫先把视频链接先保存下来，然后再统一下载。

哈哈哈，当爬虫撞见小姐姐，你的样子我都有啦！

爬虫基础知识

那么一般学习爬虫要学习到哪种程度呢？

（必要部分）

语言选择：一般是了解Python、Java、Golang之一

熟悉多线程编程、网络编程、HTTP协议相关

开发过完整爬虫项目（最好有全站爬虫经验，这个下面会说到）

反爬相关，cookie、ip池、验证码等等

熟练使用分布式

（非必要，建议）

了解消息队列，如RabbitMQ、Kafka、Redis等

具有数据挖掘、自然语言处理、信息检索、机器学习经验

熟悉APP数据采集、中间人代理

大数据处理（Hive/MR/Spark/Storm）

数据库Mysql，redis，mongdb

熟悉Git操作、linux环境开发

读懂js代码，这个真的很重要