豆瓣电影 Top 250爬取(学习小结)
学习python也有一段时间，之前都是看视频、在网上找一些习题，学习没有目的，看完了又重新倒回去在看，效率极低。因此，今年改变策略，主要以实战为主，每周定一个小目标，在项目过程中去获取知识，不同就学和查，然后记录、总结。人生苦短，我用python！
新人练手，就把简单的豆瓣TOP250电影进行爬取，第一页面结构清晰，内容友好，第二数据量很小，爬取简单，触动反爬机制概率较小，废话不多说，直接上手。
用到的python库：requests、BeatifulSoup、re、pymongo
爬取思路（通常套路）：
1. 确定分析目的，进而确定数据源、数据字段
（目的：对豆瓣TOP250电影的排名、电影名称、导演、区域、主演、评分、评论量进行爬取，分析：
在TOP榜中，哪个区域的数量最多；哪个导演的数量最多，哪个主演的数量最多，评价量高是否是评分高）
2. 对数据页面进行分析，确定页面规则、数据获取方式
3. 获取数据，调优，存入数据库
import requests
from bs4import BeautifulSoup
import re
import pymongo
import time
"""
爬取豆瓣电影TOP250列表，爬取 电影名称、导演、主演、类型、评分、点评数量
"""
start_url ="https://movie.douban.com/top250/"
client = pymongo.MongoClient('localhost',27017)
douban = client['douban']
movie_info = douban['movie_info']
def get_urls(start_url,page_num):
urls = []
for pagein range(0,page_num,25):
url ="{}?start={}".format(start_url,page)
urls.append(url)
return urls
def get_movie_info(url):
header = {
}
response = requests.get(url)
soup = BeautifulSoup(response.text,'lxml')
data = soup.find('ol',{"class":"grid_view"})
m_list = data.find_all('li')
#print(m_list)
movies = []
for min m_list:
#序号
rank = m.find('em').text
#电影标题
#title = m.find('span',{'class':'title'}).text
#标题
title = m.find('img')['alt']
info = m.find('p').text
#导演
director = re.findall("导演:\s(.*?)\s",info)
if len(director) <1:
director ='superman'
else:
director = director[0]
#主角
actor = re.findall("主演:\s(.*?)\s",info)
if len(actor) >=1:
actor = actor[0]
else:
actor ='superman'
#上映日期
date = re.findall("\d{4}",info)[0]
#上映区域
area = re.findall("\d{4}\s/\s(.*?)\s/",info)
if len(area) <1:
area ='superman'
else:
area = area[0]
#评分
score = m.select('span.rating_num')[0].text
#评论数量
comment = re.findall("\d+人评价",m.text)[0]
dic = {
'排名':rank,
'电影名称':title,
"导演":director,
"主角":actor,
"上映日期":date,
"区域":area,
"评分":score,
"评论":comment
}
movies.append(dic)
return movies
def result_reverse(url,keyword,order,num):
result_list = get_movie_info(url)
result =sorted(result_list,key=lambda info:info[keyword],reverse=order)[:num]
print(result)
if __name__ =="__main__":
result_reverse("https://movie.douban.com/top250",'评分',True,5)
#info_list = get_movie_info("https://movie.douban.com/top250")
#result = sorted(info_list,key=lambda info:info['评论'],reverse=True)
#print(result)
"""
data = [data for data in movie_info.find()]
print(data[0]['评分'])
data_socre = sorted(data,key = lambda socre:socre['评分'],reverse=True)
print(data_socre[:5])
"""
4. 对数据进行图表制作
