今天又是被python支配的一天呢。不过bug比昨天少了，心情也比昨天好了不少。

最近最热的话题就是基金啦。打开小红书，几乎都是在晒自己每天成千上万的基金收益（当然，人家可能主要是在晒自己上百万的本金吧）。我自己投资基金也有快一年的时间了，不过本金有限，加上基本都会选在15%-20%止盈，所以一直也就是小打小闹。

但是这波买基金的风潮，也让我觉得有必要好好研究几款值得长线持有的基金。于是就萌生了这个“用（仅会的几类）python操作爬取高收益基金信息”的念头。

0：试验信息是否可爬

我先打开了东方财富网，找到了高收益基金的排行榜页面，点击F12，查看网页代码信息。发现我所需要的一些关键信息，如基金名称、编码、详情页地址等，都被写在了页面中。用get.requests和BeautifulSoup试了一下，是可以被提取和解析的。于是兴冲冲开始构建代码。

1：定义所需数据

为了满足后续分析和处理数据的需要，我认为需要爬取这样几类信息：基金编码、基金名称、基金规模、近1年涨幅、近6个月涨幅、近3个月涨幅、费率、持仓股票名称、仓位占比。

我在网站中找到这些信息所对应的url和源代码结构，并记录在了记事本中，方便后续构建代码。

2：获取并解析数据

之前在课程中曾经看到老师提起，部分网页用BeautifulSoup自动解析，可能会出现乱码。这次我就遇到了。基金的名称提取出来，完全乱掉，一看就是解码错误。百度了一下，最终找到了一款靠谱的解决方法，在代码中加入一行：

html.encoding = html.apparent_encoding

当然，html是需要被替换为解析出错的变量名称的。加上之后，果然，问题迎刃而解啦。

3：大难题

由于网页代码结构的原因，有一组数据无法被直接提取——如果采取现有的办法提取，就会把有效数据和我不需要的数据mix在一起，组成一个巨长的列表。怎么办呢？我搜索了一下python关于列表拆分的方法。发现果然可以定义这样的函数：

def list_of_groups(list_info, per_list_len):

    '''

    :param list_info:   列表

    :param per_list_len:  每个小列表的长度

    :return:

    '''

    list_of_group = zip(*(iter(list_info),) *per_list_len) 

    end_list = [list(i) for i in list_of_group] # i is a tuple

    count = len(list_info) % per_list_len

    end_list.append(list_info[-count:]) if count !=0 else end_list

    return end_list

if __name__ == '__main__':

    list_info = ['name zhangsan', 'age 10', 'sex man', 'name lisi', 'age 11', 'sex women']

    ret = list_of_groups(list_info,3)

    print(ret)

按照如上操作，即可将列表['name zhangsan', 'age 10', 'sex man', 'name lisi', 'age 11', 'sex women']拆分为两个各有3个元素的列表。

我也照猫画虎地干了，把list_info的值修改为那个巨长的mix列表，再把ret中传入的参数“3”改为“2”。成功了！我把长列表拆分成了由N个小列表（每个小列表含有两个元素，其中第0个元素是我需要的，第1个元素师我不需要的）组成的嵌套列表。

此时，我需要做的，就是遍历这个列表，并且取出每个小列表中的第0个元素，组成一个新的列表。就可以再遍历这个列表，提取我所需要的数据信息。

这是我最终写出的代码，用它，我成功提取到了东方财富网上高收益基金排行榜单前100名的基金信息，并且存储成了csv文件。

import requests,csv

from bs4 import BeautifulSoup

csv_file = open('jijin.csv','w',newline='',encoding='utf-8')

writer = csv.writer(csv_file)

writer.writerow(['编码','基金规模','近1年涨幅','近6个月涨幅','近3个月涨幅','费率详情','持仓股票','仓位占比'])

def list_of_groups(list_info, per_list_len):

    '''

    :param list_info:   列表

    :param per_list_len:  每个小列表的长度

    :return:

    '''

    list_of_group = zip(*(iter(list_info),) *per_list_len) 

    end_list = [list(i) for i in list_of_group] # i is a tuple

    count = len(list_info) % per_list_len

    end_list.append(list_info[-count:]) if count !=0 else end_list

    return end_list

url = 'http://fund.eastmoney.com/trade/hh.html?spm=001.1.swh'

res = requests.get(url)

res.encoding = res.apparent_encoding

bs = BeautifulSoup(res.text, 'html.parser')

datas = bs.find('table', class_='mainTb').find('tbody').find_all('tr')

url_list = []

for data in datas:

    id = str(data.find('td').text)

    real_url = 'http://fund.eastmoney.com/{id}.html'.format(id=id)

    url_list.append(real_url)

for url in url_list:

    real_res = requests.get(url)

    real_res.encoding = real_res.apparent_encoding

    bs = BeautifulSoup(real_res.text,'html.parser')

    id = bs.find('div', class_='fundDetail-tit').find('span', class_='ui-num').text

    fl = bs.find('a', class_='rateDetail')['href']

    info = bs.find('div', class_='infoOfFund')

    scale = info.find_all('td')[1].text

    y1 = bs.find('dl', class_='dataItem01').find_all('dd')[2].find('span',class_='ui-font-middle ui-color-red ui-num').text

    m6 = bs.find('dl', class_='dataItem02').find_all('dd')[1].find('span',class_='ui-font-middle ui-color-red ui-num').text

    m3 = bs.find('dl', class_='dataItem03').find_all('dd')[1].find('span',class_='ui-font-middle ui-color-red ui-num').text

    stock_ratios = bs.find('li', class_='position_shares').find_all('td', class_='alignRight')

    if __name__ == '__main__':

        list_info = stock_ratios

        ret = list_of_groups(list_info,2)

        ratios = []

        for i in ret:

            ratios.append(i[0])

    stock_names = bs.find('li', class_='position_shares').find_all('td', class_='alignLeft')

    i = 0

    for stock_data in stock_names:

        stock_name = stock_data.find('a')['title']

        stock_ratio = ratios[i].text

        writer.writerow([id,scale,y1,m6,m3,fl,stock_name,stock_ratio])

        i = i+1

csv_file.close()

print("it's OK")

4：不足之处

当然，这个代码还有一些我认为不够完善的地方。比如说：

1.基金名称

由于最终的信息爬取是在基金详情页进行的，如果我想提取基金名称，就会带上“（基金编码”，感觉不是很美观，但是也没有找到怎样去掉后面这半的方法，感觉split方法是可行的，后续可以再做完善。

2.基金费率

买基金除了看收益情况外，费率也是很值得注意的一个参考项。一般可能会有：买入费率、赎回费率还有托管费率。不同基金的收费标准不太一样，但据我观察，总费率一般在0.8%-2%之间。

但是，由于费率有单独的详情页，所有的信息写在了费率详情页中，所以今天也没能爬取到，仅爬取到了每个基金对应的费率详情页url。后续也会继续完善。

不管怎么说，还是蛮欣喜的。学了两个月，感觉自己的时间没有白费。

另外还有一点很深的体会，学习10遍都不如实操1遍记忆深刻。之前总是忘记怎样创建csv文件存储数据，每次都要重新打开教程或者笔记，今天基本可以独立写出来了。明天再实操一下创建excel文件存储数据，感觉自动化办公在向我招手手啦~