爬虫P2P网站某产品交易数据统计分析
前言
通过爬虫p2p网站某产品交易数据，分析实时交易量及增长趋势，判断产品活力。
（因不想体现为某p2p网站，所以里面网站地址使用xxxxxx进行代替，另代码可参看最下方的github地址。）
目录
一、P2P某产品交易量分析
二、工具及相关python包
三、获取网站的标号及交易量并存入本地excel
四、根据excel表格中的数据进行分析统计实时交易量
五、jenkins配置
六、效果图展示如下图
七、gitlab源码地址
一、实现思路
1、提取投标项目号
2、根据标号进入分页进行资金收集
3、将交易量输入excel表格
4、根据excel统计出最新的交易总和
二、工具及相关python包
python3 Pycharm urllib bs4 re xlrd xlutils.copy jenkins
三、获取网站的标号及交易量并存入本地excel
#导入所需要的相关包
from html.parser import HTMLParser
from urllib import request
from bs4 import BeautifulSoup
import reimport time
import xlrd,xlwt,os,sys,xlutils
from xlrd import open_workbook
from xlutils.copy import copy
#此函数为获取网站的标号及剩余量
def getdata(data1,data2,data3):
with request.urlopen(data1) as f:
data = f.read().decode('utf-8').replace(u'\xa9', u'') #listp接收标号的url进行拼接
listp = []
res_tr = re.findall(r'/Venus/\d+',data)
for i in res_tr:
listp.append(i)
listj = []
listm = []
#listj接收剩余量 listm接收标号
for j in listp:
listm.append(j.split('/')[2]) #获取/标号
url = "https://xxxxxxxx.com" + j #拼接标号url
with request.urlopen(url) as f:
data = f.read().decode('utf-8').replace(u'\xa9', u'') #获取标号页面
with open(data3, 'w') as f: #标号页面存入data3
for i in data: f.write(i)
soup = BeautifulSoup(open(data3)) #使用BeautifulSoup格式化页面html
jr = (soup.find_all(class_="canbid-amount")) #根据class标签找到剩余量
if jr: listj.append(str(jr[0]).split('')[1].split('')[0]) #切割剩余量获取数据
else: listj.append("收益中") #无剩余量显示
dictjm = dict(zip(listm, listj)) #剩余量 标号存入字典dictjm
return dictjm #返回
def sendexcl(url,getjm):
rexcel = open_workbook(url) #打开excel
rows = rexcel.sheets()[0].nrows #统计行
cols = rexcel.sheets()[0].ncols #统计列
excel = copy(rexcel) #复制表
table = excel.get_sheet(0) #第一张表
j = 0
for i, m in getjm.items(): #字典读取数据excel写入标号
table.write(rows, j, i) #第一张表行写入数据j用于定位行列 i为插入数据
j += 1 #列后移一位
rows += 1 #行后移一位
excel.save(url) #保存数据
j = 0
for i, m in getjm.items(): #excel写入剩余量
table.write(rows, j, m)
j += 1
rows += 1
excel.save(url)
getjm = getdata("https://xxxxxxxxxxxxxx","jmgetlog","jmget1log") #获取剩余量标号字典sendexcl("F:\JIMU\JMQST.xlsx",getjm) #excel存入字典
四、根据excel表格中的数据进行分析统计实时交易量
import xlrd
data = xlrd.open_workbook("F:\JIMU\JMQST.xlsx")
table = data.sheets()[0] # 第几个sheet
nrows = table.nrows # 行数
ncols = table.ncols # 列数
colnames = table.row_values(1) # 某一行数据
print(colnames)
colnames2 = table.row_values(nrows-1)
print(colnames2)
dictn = dict(zip(colnames,colnames2))
del dictn["收益中"]
print(dictn)
listn = []
for i,j in dictn.items():
i = i.replace(',','')
j = j.replace(',','')
m = float(i) - float(j)
listn.append(m)
print(listn)
m = 0
for i in listn:
m += i
print(m)
print("轻松投减少量为:%f"%(m))
with open('F:\JIMU\pylog', 'a+') as f:
f.write('\n')
f.write(str(m))
print("sucessful ok")
五、jenkins配置
图一为jenkins定时任务配置两分钟进行一次
图二为jenkins python配置 jimuDA3.py获取实时交易量 test1.py 统计交易总
图一定时任务
图二jenkins配置截图
六、效果图展示如下图
图三交易量收集输入excel表格
图四 根据excel表格数据统计出实时的交易量，两分钟统计一次，由图可见最新总交易量为一千一百余万
图三excel截图
图四交易总额
七、github地址
https://github.com/tanghuan123/getdata
https://github.com/tanghuan123/getdata/blob/master/getjmdata.py
https://github.com/tanghuan123/getdata/blob/master/test1.py
