让人头疼的Pandas Dataframe数据统计

朋友让我帮忙写个小程序，用于他的股票数据分析。至于分析这个目的，有什么用，我就不懂了。因为我不炒股。
要求大概这样：
从网上下载下来的每天数据是份EBK后缀的文档。度娘了一下，EBK也就是高度压缩的txt。所以用pandas读取应该没问题的。
把下载的EBK的数据，比对关联另一份汇总的excel文档中的一些股票代码与公司名称数据。关联好后，写在汇总表的新一列中。
汇总的excel表，每一列的标题都是一个日期。这就是数据的汇总要求。

image.png

接着要对特定时间段的数据，例如12/29~2/4，公司名字出现的次数做个统计。

---

于是花了一个下午的时间，写了两个程序。
一个是汇总数据。这个还比较好做。逻辑相对简单，

1. 读取EBK文档中的股票代码
2. 关联原文档的公司名称
3. 写入到文档指定位置

import pandas as pd
from openpyxl import load_workbook
import tkinter as tk
from tkinter import filedialog
import time
from datetime import datetime

def getfile(): #获得从SharePoint下载下来的JR原始报表
    root=tk.Tk()
    root.withdraw()
    #Folderpath=filedialog.askdirectory() #获得选择好的文件夹
    Filepath=filedialog.askopenfilename() #获得选择好的文件的路径
    return Filepath #返回文件路径

print("请选择原始下载的文件EBK格式")
filelink=getfile()
#filelink="C:\\Users\\lorencecheng\\Desktop\\Test\\户数减少0212.EBK"  #原始下载的文件路径
data=pd.read_table(filelink,header=None)  #读取原始文件
data.columns=['代码']
print("好的，请再次选择目标Excel总表") 
target_link=getfile()
#target_link="C:\\Users\\lorencecheng\\Desktop\\Test\\2020.xlsx"  #目标汇总文件的路径
df=pd.read_excel(str(target_link),sheet_name="股票号")  #读取汇总文件的股票代码
stockname={}  #用一个字典，匹配股票代码和对应的名字
for stockno in data['代码']:
    stockno=int(str(stockno).lstrip("1"))
    if stockno in df['代码'].tolist():  #如果该代码存在于股票代码清单中
        stockname[stockno]=".".join(df.loc[df['代码']==stockno]["名称"].values)
    else:
        stockname[stockno]="N/A"

newdata=pd.DataFrame(list(stockname.items())) #把字典赋予一个新的表单
newdata.columns=["代码","名字"]
newdata.sort_values(by=['代码'],ascending=False)

book = load_workbook(target_link) 
writer = pd.ExcelWriter(target_link, engine='openpyxl') 
writer.book = book 
writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
ws=book["增持和户数"]
maxcolumn=ws.max_column
date=input('输入导入的日期, 注意格式如 "2020/2/15" : ' )
date=datetime.strptime(date,'%Y/%m/%d')
ws.cell(row=1,column=maxcolumn+1).value=date
ws.cell(row=1,column=maxcolumn+2).value=date

newdata.to_excel(writer, "增持和户数", startcol=20,startrow=1,index=None,header=None) 
writer.save() 
print("已经导入完成")
time.sleep(30)

原以为分析部分的代码也比较好做。其实发现掉进了泥潭中。一直琢磨到晚上8点才完成。逻辑大概这样：

1. 把数据从excel表中重新读取出来。
2. 按给定的日期区间，筛选相应的数据。
3. 然后统计其中的字符出现的次数。
   要实现第一步导入很简单，pandas.read_excel就可以做了。
   我卡在了第二步的日期筛选，我输入一个字符串日期，要转换为指定格式的datetime数据。

newdata=newdata.reset_index()
startdate=input("开始日期, 格式如 2020/1/15: ")
endate=input("结束日期, 格式如 2020/1/18: ")
startdate=datetime.strptime(startdate,'%Y/%m/%d')
endate=datetime.strptime(endate,'%Y/%m/%d')
syear = (int(startdate.strftime('%Y')))
smonth = (int(startdate.strftime('%m')))
sday = (int(startdate.strftime('%d')))
eyear = (int(endate.strftime('%Y')))
emonth = (int(endate.strftime('%m')))
eday = (int(endate.strftime('%d')))
rangeData=newdata[(newdata["Date"]>=datetime(syear,smonth,sday)) & (newdata["Date"]<datetime(eyear,emonth,eday+1))]

折腾了好几个小时，才出来以上一段按日期节选数据的代码。
第三步骤的统计，也难到我了。我不知道如何在Dataframe中遍历所有数据，然后把它们计算它们的次数。
于是我想如何把Dataframe变为我稍微熟悉点的列表list，再对列表进行字典的转换。通过字典的形式计算次数。。。

list1=[]
try:
    round=1
    for r in range(1,(rangeData.shape[0]),2):
        for c in range(1,(rangeData.shape[1])):
            result=str(rangeData.iloc[[r],[c]].values)
            result=result.replace("[[","")
            result=result.replace("]]","")
            result=result.strip("'")
            list1.append(result)         
except:
    pass
output = {}
for i in set(list1):
    output[i] = list1.count(i)
#for key,value in output.items():
  #print(key+": "+str(value))

累死人。笨死人。千辛万苦搞出了个字典数据了，要把字典重新输出到excel总表中。我就把字典再次转换为dataframe，再输出。
于是，整个数据分析的代码就如下了：

import pandas as pd
from datetime import datetime
from openpyxl import load_workbook
import time
import tkinter as tk
from tkinter import filedialog

def getfile(): #获得从SharePoint下载下来的JR原始报表
    root=tk.Tk()
    root.withdraw()
    #Folderpath=filedialog.askdirectory() #获得选择好的文件夹
    Filepath=filedialog.askopenfilename() #获得选择好的文件的路径
    return Filepath #返回文件路径
print("请选择目标Excel总表") 
target_link=getfile()
#target_link="C:\\Users\\lorencecheng\\Desktop\\Test\\2020.xlsx"  #目标汇总文件的路径
df=pd.read_excel(str(target_link),sheet_name="增持和户数")  #读取汇总文件的股票代码
newdata=df.T
newdata.index.name="Date"
newdata=newdata.reset_index()
startdate=input("开始日期, 格式如 2020/1/15: ")
endate=input("结束日期, 格式如 2020/1/18: ")
startdate=datetime.strptime(startdate,'%Y/%m/%d')
endate=datetime.strptime(endate,'%Y/%m/%d')
syear = (int(startdate.strftime('%Y')))
smonth = (int(startdate.strftime('%m')))
sday = (int(startdate.strftime('%d')))
eyear = (int(endate.strftime('%Y')))
emonth = (int(endate.strftime('%m')))
eday = (int(endate.strftime('%d')))
rangeData=newdata[(newdata["Date"]>=datetime(syear,smonth,sday)) & (newdata["Date"]<datetime(eyear,emonth,eday+1))]
list1=[]
try:
    round=1
    for r in range(1,(rangeData.shape[0]),2):
        for c in range(1,(rangeData.shape[1])):
            result=str(rangeData.iloc[[r],[c]].values)
            result=result.replace("[[","")
            result=result.replace("]]","")
            result=result.strip("'")
            list1.append(result)         
except:
    pass



output = {}
for i in set(list1):
    output[i] = list1.count(i)
#for key,value in output.items():
  #print(key+": "+str(value))

newdata=pd.DataFrame(list(output.items())) #把字典赋予一个新的表单
newdata.columns=["名字","次数"]
newdata.sort_values(by=['次数'],ascending=False)

try:
    book = load_workbook(target_link) 
    writer = pd.ExcelWriter(target_link, engine='openpyxl') 
    writer.book = book 
    writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
    ws=book["统计结果"]
    newdata.to_excel(writer, "统计结果", startcol=0,startrow=0,index=None,header=None) 
    writer.save() 
    print("统计结束，请看回Excel总表中的统计数据")
    time.sleep(20)
except:
    print("统计结果保存失败，请关闭Excel总表后再次尝试")
    time.sleep(20)
    pass

写代码的过程，很有挑战性。各种网上查资料，翻翻书。也经常骂自己笨。但是当千辛万苦，消除bug得出想要的结果后，那是种快乐。
好好继续加油。