python （抓取豆瓣电影TOP250并保存到MySQL）
首先笔者也才刚刚接触python这门奇幻的语言。python是一个门槛很低的入门语言，但它的作用一点也不小。YouTube和豆瓣就是用python来写的！
笔者将自己的所学的东西放在这里希望和读者一起讨论，一起进步。
首先，笔者非常喜欢看电影，然后就上网搜豆瓣电影top250.一共250部，都是非常好看的也经典的电影。笔者也是一部部在补，感觉人生快要圆满了！
好了，接下来我们尝试用python抓取.笔者只想抓取着250部的电影的名字和导演主演的名字和一些简介并保存到本地的MySQL数据中。
首先，笔者喜欢用第三方库reuquests,而不是python自带urllib2（这个看个人意愿了）
如果没有requests库的话，可以进去cmd命令下：
pip install requests
或者
easy_install requests
或者直接下载文件解压到python目录下的lib/site-package中。
#!/usr/bin/env python
#-*-coding: utf-8-*-
import requests
url='https://movie.douban.com/top250'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}
html=requests.get(url,headers=headers)
print html.text
就这么简单的几行代码我们就已经抓取到当前页面下的HTML啦。
这里的User-Agent是模拟浏览器的信息，不然可能豆瓣会不给你进行抓取哦。
然后，我们就在就抓取关键信息啦，F12或者鼠标右键审查元素功能。
审查页面的左上角有个快速定位关键信息的小箭头。
笔者接下来使用XPATH来进行抓取，这里不进行多余的解释了，有兴趣的小伙伴可以去网上搜一下XPath的下载和教程。
#!/usr/bin/env python
#-*-coding: utf-8-*-
import requests
from lxml import etree
url='https://movie.douban.com/top250'
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}
html=requests.get(url,headers=headers)
selector=etree.HTML(html.text)
names=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
others=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[1]/text()')
nums=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[2]/text()')
evaluates=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[4]/text()')
briefs=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[2]/span/text()')
for name,other,num,evaluate,brief in zip(names,others,nums,evaluates,briefs):
print name.encode("utf-8")
print other.encode("utf-8")
print num.encode("utf-8")
printevaluate.encode("utf-8")
print brief.encode("utf-8")
请读者注意，将结果打印出来的时候还是要将格式换成utf-8不然还是XML的格式。
这是截图的一部分。好了。我们之前的只是一个页面上25部电影的信息，其他的跟这个就差不多啦，写个href函数加进去就好了，详细见下代码。
#!/usr/bin/env python
#-*-coding: utf-8-*-
import requests
from lxml import etree
def get_url(url):
url=url
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}
html=requests.get(url,headers=headers)
selector=etree.HTML(html.text)
hrefs=selector.xpath('//*[@id="content"]/div/div[1]/div[2]/a/@href')
for href in hrefs:
string=url+href
get_string(string)
defget_string(string):
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}
html=requests.get(string,headers=headers)
selector=etree.HTML(html.text)
names=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
others=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[1]/text()')
nums=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[2]/text()')
evaluates=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[4]/text()')
briefs=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[2]/span/text()')
for name,other,num,evaluate,brief in zip(names,others,nums,evaluates,briefs):
print name.encode("utf-8")
print other.encode("utf-8")
print num.encode("utf-8")
print evaluate.encode("utf-8")
print brief.encode("utf-8")
get_url('https://movie.douban.com/top250')
250部的信息已经抓取下来啦。看看右边导航条。
接下来就是写进数据库啦。我们要导入MySQLdb这个包。这个第三方库教程也请读者自行搜索啦。因为笔者是Mac下的MySQL当初安装这些可是花了好大功夫呢。Windows就简单很多呢。当然了笔者是一开始就在数据库写入table啦。详见以下代码。
#!/usr/bin/env python
#-*-coding: utf-8-*-
import requests
from lxml import etree
import MySQLdb
def get_url(url):
url=url
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}
html=requests.get(url,headers=headers)
selector=etree.HTML(html.text)
hrefs=selector.xpath('//*[@id="content"]/div/div[1]/div[2]/a/@href')
for href in hrefs:
string=url+href
get_string(string)
def get_string(string):
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}
html=requests.get(string,headers=headers)
selector=etree.HTML(html.text)
names=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
others=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[1]/text()')
nums=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[2]/text()')
evaluates=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[4]/text()')
briefs=selector.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[2]/span/text()')
for name,other,num,evaluate,briefinzip(names,others,nums,evaluates,briefs):
db=MySQLdb.connect("localhost","root","guanguan5208","dh",charset="utf8")
cursor=db.cursor()
sql="insert into douban (name,other,num,evaluate,brief) values ('%s','%s','%s','%s','%s')"%(name.encode('utf8'),other.encode('utf8'),num.encode('utf8'),evaluate.encode('utf8'),brief.encode('utf8'))
cursor.execute(sql)
db.commit()
db.close()
get_url('https://movie.douban.com/top250')
已经打工搞成啦，我们去数据库看一下。
已经导入数据里面啦。好开心呀，就根据这个顺序慢慢来看啦。
当然了，笔者也是刚刚接触python这门语言，很多东西还不是很懂，希望读者轻喷，我也是抱着学习的心态来学习的😊。
如果这其中也什么错误的地方，请读者指正，我将第一时间修改。
