使用Python获取城市POI数据

1.数据接口：

本次使用百度地图开放平台中的地点检索API来获取城市POI数据，此次以矩形区域检索为例。

2.获取思路：

因为百度出于数据保护目的，单次访问服务最多同时返回400条数据，不过官方也给出了解决方案，即通过添加分类、设置范围等方式，从而缩小检索范围，满足数据获取要求。

要想获取一个大的矩形区域内的数据，就需要先将大区域划分成一个个的小区域，然后通过小区域范围去访问接口获取数据。

3.代码示例：

import requests
import json
import time
import pandas as pd

# 构建URL访问API部分
class BaiduPoi(object):
    def __init__(self, query, loc, ak):  # query:行业分类，loc:检索的位置坐标，ak：服务秘钥
        self.query = query
        self.loc = loc
        self.ak = ak

    # 构建访问URL
    def urls(self):
        urls = []
        for i in range(0, 20):
            url = 'http://api.map.baidu.com/place/v2/search?query=' + self.query + '&bounds=' + self.loc + '&page_size=20&page_num=' + str(
                i) + '&output=json&ak=' + self.ak
            urls.append(url)
        return urls

    # 访问APIP获取数据
    def get_data(self):
        for i, url in enumerate(self.urls()):
            try:
                # print(i,url)
                js = requests.get(url).text
                data = json.loads(js)
                if data['total'] != 0:
                    for item in data['results']:
                        js = {}
                        js['一级行业'] = h1
                        js['二级行业'] = h2
                        js['name'] = item['name']
                        js['lat'] = item['location']['lat']
                        js['lng'] = item['location']['lng']
                        yield js
                else:
                    print(url)
                    print('本页及以后无数据！')
                    break
            except:
                print('出现错误！')
                with open('./log.txt', 'a') as fl:
                    fl.write(url+'\n')


# 大网格划分成小网格部分
class LocalDiv(object):
    def __init__(self, loc_all,
                 divd):  # loc_all：为构建访问url中的左下角（西南）坐标和右上角（东北）坐标（bounds=39.915,116.404,39.975,116.414）；divd：分割网格大小
        self.loc_all = loc_all
        self.divd = divd

    # 划分纬度
    def lat_all(self):
        lat_sw = float(self.loc_all.split(',')[0])  # 西南方向纬度
        lat_ne = float(self.loc_all.split(',')[2])  # 东北方向纬度
        lat_list = [str(lat_ne)]
        while lat_ne - lat_sw > 0:
            m = lat_ne - self.divd
            lat_ne = lat_ne - self.divd
            lat_list.append("{:.2f}".format(m))
        return sorted(lat_list)

    # 划分经度
    def lng_all(self):
        lng_sw = float(self.loc_all.split(',')[1])  # 西南方向经度
        lng_ne = float(self.loc_all.split(',')[3])  # 东北方向经度
        lng_list = [str(lng_ne)]
        while lng_ne - lng_sw > 0:
            m = lng_ne - self.divd
            lng_ne = lng_ne - self.divd
            lng_list.append("{:.2f}".format(m))
        return sorted(lng_list)

    # 将划分的经纬度进行组合
    def ls_com(self):
        lat = self.lat_all()
        lng = self.lng_all()
        latlng_list = []
        for i in range(0, len(lat)):
            a = lat[i]
            for i2 in range(0, len(lng)):
                b = lng[i2]
                ab = a + ',' + b
                latlng_list.append(ab)
        return latlng_list

    # 构建每个小网格的西南和东北点的坐标对
    def ls_row(self):
        lat = self.lat_all()
        lng = self.lng_all()
        latlng_list = self.ls_com()
        ls = []
        for n in range(0, len(lat) - 1):
            for i in range(len(lng) * n, len(lng) * (n + 1) - 1):
                coor_a = latlng_list[i]
                coor_b = latlng_list[i + len(lng) + 1]
                coor = coor_a + ',' + coor_b
                ls.append(coor)
        return ls


if __name__ == '__main__':
    # 行业划分,根据需要可以自己构建行业划分标准
    pois = {'商业': ['酒店', '购物'....],
            '教育': ['高等院校', '中学', '小学', '幼儿园', ......],
            。。。。。。
            }
    print('----------开始爬取数据！----------')
    start_time = time.time()
    loc = LocalDiv('填写要查询的坐标范围（例：31.131387,121.413508,31.343321,121.540564）', 0.01)  # 查询范围坐标,网格大小，现在采取0.01度进行分割
    locs_to_use = loc.ls_row()
    for h1, v in pois.items():
        print('爬取：', h1)
        file_name = './baidu_poi_{}.csv'.format(h1)
        for loc in locs_to_use:
            for h2 in v:  # 获取二级行业
                par = BaiduPoi(h2, loc, ak='ak值')
                dt = par.get_data()
                df = pd.DataFrame(dt)
                if len(df) != 0:
                    print(df)
                    df.to_csv(file_name,header=0,index=False,encoding='utf_8_sig',mode='a+')
                    time.sleep(1)
                else:
                    pass
    end_time = time.time()
    print('所有poi数据已经爬取完毕，共耗时{:.2f}秒'.format(end_time - start_time))