用Python爬虫爬取世界上最大的小电影网站，一天可爬取500万

Pornhub 是什么

Pornhub是一个小电影分享网站,2007年成立于加拿大蒙特利尔的Pornhub是全球最大的小电影分享类网站之一，被视为同行视为先驱，在Alexa上排名第80位（最高时曾跻身前30）。2010年，Pornhub被另一家神秘的公司——总部位于卢森堡的Manwin（后改名MindGeek）公司收购，和其旗下的Youporn、Redtube等同类网站组成了全球最大的小电影视频联盟 。

本文使用技术

Python + Scrapy + MongoDB，每天爬取500万的数据以上的小电影数据。

免责声明：本项目旨在研究Scrapy Spider Framework和MongoDB数据库，它不能用于商业或其他个人意图。如果使用不当，那将是个人承担。

该项目主要用于抓取网站，这是世界上最大的网站。这样做可以检索视频标题，持续时间，mp4链接，封面网址和直接网站的网址。

该项目快速抓取PornHub.com，但结构简单。

该项目每天最多可以抓取5万个网站的视频，具体取决于您的个人网络。由于我的带宽慢，我的结果相对较慢。

爬虫一次请求10个线程，因此可以达到上述速度。如果您的网络性能更高，您可以每天请求更多线程并抓取更多视频。具体配置请参见[预启动配置]

环境配置

语言：python

python版本：python2.7

电脑配置：MacOS, 4G RAM

数据库： MongoDB

使用说明

下载源码

方式1

进入：https://github.com/xiyouMc/WebHubBot

点击下载源码，下载源码之后解答到一个文件夹

方式2

需要先安装好git,安装好之后

git clone https://github.com/xiyouMc/WebHubBot.git

就能将源码下载到本地

预启动配置

如果scrapy使用pip指令安装不上的话。建议使用anaconda进行安装，装好anaconda之后使用conda install scrapy指令会自动解决依赖进行安装

安装MongoDB并在没有配置的情况下启动

安装Python依赖模块：Scrapy，pymongo，请求或 pip install -r requirements.txt

根据需要修改配置，例如间隔时间，线程数等。

启动

cd WebHub

python quickstart.py

运行屏幕截图

数据库配饰说明

保存数据的数据库中的表是PhRes。以下是字段说明：

PhRes表：

video_title: 视频的标题，并且不能重复

link_url: 视频的网址

image_url: 视频的一些截图

video_duration: 视频的时长，单位为秒

quality_480p: 视频的清晰度与下载视频的地址

说明：源码视频书籍练习题等资料进群 696541369 即可免费获取