上海大众点评美食数据可视化

2017-04-20 本文已影响299人 DT0203

大众点.jpg

本文首先使用python爬取了上海市大众点评735条数据，各商户信息来源于这里。

第一步：数据爬取

python网络爬虫功能非常的强大、便捷，这也是我一直选择python进行爬虫的主要原因，对于上海市大众点评美食数据，共有50页，主要通过其链接后面的p1来返回不同页的信息，如http://www.dianping.com/search/category/1/10/p1 返回第一页的数据，http://www.dianping.com/search/category/1/10/p2 返回第二页的数据，依据该原理进行数据的爬取。结果如下形式：

爬虫数据.jpg

###################################完  整  代   码###############################
import requests
from bs4 import BeautifulSoup
import re
import pandas as pd

shop_name = []       # 店名
score_taste = []     # 口味得分
score_envir = []     # 环境得分
score_service = []   # 服务得分
shop_address = []    # 地址
shop_type = []       # 菜系
shop_area = []       # 商圈

for n in range(1,51):
    if n != 11:   # 由于第11页崇明县美食编码问题，无法跳过，只能不爬取第11也内容
        url = r'http://www.dianping.com/search/category/1/10/p' + str(n)
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 \
                (KHTML, like Gecko) Chrome/43.0.2357.124 Safari/537.36'}
        response = requests.get(url, headers=headers)  # 添加headers进行请求
        soup = BeautifulSoup(response.text, 'lxml')  # 解析response并创建BeautifulSoup对象

        # 获取店名
        name = soup.find_all('div',class_='tit')
        for k in range(len(name)):
            shop_name.append(name[k].find('h4').text)

        # 获取评分
        score = []  # 得分
        get_score = soup.find_all('span',class_='comment-list')
        for i in range(len(get_score)):
            score.append(get_score[i].find_all('b'))

        for j in range(len(score)):
            score_taste.append(re.search(r'<b>([0-9]+.[0-9]+)</b>',str(score[j][0])).group(1))
            score_envir.append(re.search(r'<b>([0-9]+.[0-9]+)</b>', str(score[j][1])).group(1))
            score_service.append(re.search(r'<b>([0-9]+.[0-9]+)</b>', str(score[j][2])).group(1))

        # 获取商圈信息
        area = soup.find_all("a", href=re.compile("/search/category/1/0"))
        for i in range(len(area)):
            shop_area.append(area[i].text)

        # 获取地址
        address = soup.find_all('span',class_='addr')
        for i in range(len(address)):
            shop_address.append(address[i].text)

        # 获取菜系
        tag = soup.find_all('div', class_='tag-addr')
        for l in range(len(tag)):
            shop_type.append(tag[l].find('span',class_='tag').text)

df = pd.DataFrame({'shop_name':shop_name,'shop_type':shop_type,\
                   'shop_area':shop_area,'shop_address':shop_address,\
                   'score_taste':score_taste,'score_envir':score_envir,\
                   'score_service':score_service})
df.to_excel(r'爬取大众点评数据.xlsx', sheet_name='Sheet1')

第二步：调用百度地图API，根据各商家地址获取经纬度信息

使用python调用百度地图API可以根据地址信息获取其经纬度信息，也可以根据其经纬度信息获取相应的地址信息等等，网上关于怎么使用百度地图API的教程很多，本步骤代码在参考他人的代码进行了修改，想要查看百度地图API更多功能和使用方法可以点击这里。

import json
import requests
from bs4 import BeautifulSoup
import os
import pandas as pd

# 定义根据地址返回经纬度信息的函数
def getlcation(address):
    url = 'http://api.map.baidu.com/geocoder/v2/'
    output = 'json'
    ak = 'LP7AbMWSzHQaOT0fyR8TRp3DBGnzzPjR'
    uri = url + '?' + 'address=' + address + '&output=' + output + '&ak=' + ak
    temp = requests.get(uri)
    soup = BeautifulSoup(temp.text, 'lxml')
    my_location = json.loads(soup.find('p').text)
    lng = my_location['result']['location']['lng']   # 经度
    lat = my_location['result']['location']['lat']   # 维度
    lng_lat = [lng,lat]
    return lng_lat

# 读取爬虫数据
os.chdir(r'C:\Users\jk\Desktop\Python学习\每日一学习')
mydata = pd.read_excel(r'爬取大众点评数据.xlsx',index_col=[0], header=[0])
# print(mydata)
my_lng = []
my_lat = []
# 由于大众点评的地址信息没有上海市，为了获取经纬度信息更加准确，在前面加上上海市
for i in mydata['shop_address']:
    my_lng.append(getlcation('上海市' + i)[0])
    my_lat.append(getlcation('上海市' + i)[1])

mydata['lng'] = my_lng
mydata['lat'] = my_lat

# 将经纬度数据输出
mydata.to_excel(r'爬取大众点评数据(含经纬度).xlsx', sheet_name='Sheet1')

第三步：数据的可视化

个人认为R语言的可视化方面做的相比python更加强大，一般情况下数据的可视化也会首选R语言，本步骤主要使用R语言的REmap包进行可视化处理，该包是调用百度Echrats的图进行绘制，更多的使用方法可以点击这里。

rm(list=ls())
library(readxl)
library(REmap)
setwd("C:/Users/jk/Desktop/Python学习/每日一学习")      #　设置工作目录
options(digits = 15)
df = read_excel('爬取大众点评数据(含经纬度).xlsx')     # 读取数据
geoData = df[,c('lng','lat','shop_name')]
colnames(geoData) = c('lon','lat','name')
pointData = data.frame(geoData$name)
remapB(get_city_coord("上海"),
       zoom = 13,
       color = "grayscale",
       title = "上海美食",
       markPointData = pointData,
       markPointTheme = markPointControl(symbol = 'circle',symbolSize = 5,effect = F),
       geoData = geoData)

需要注意的是，数据的格式存在部分的错误，如果不进行修改，可能首先出的结果是一片空白，如下图所示：