pandas数据处理技巧

import pandas as pd
import numpy as np

df = pd.DataFrame({'uid': [111,111,222,222,333,333],
                   'amount': [4.99,9.99,14.99,29.99,14.99,99.99],
                   'days':['1','2','1','2','1','2']})
df

    uid amount  days
0   111 4.99    1
1   111 9.99    2
2   222 14.99   1
3   222 29.99   2
4   333 14.99   1
5   333 99.99   2

1.分组后找出某列的最大行并保留其他列

比如在df中，找出每个uid的最大amount，并保留其他列

# 如果只需要找出最大值，直接分组取max就可以了
df.groupby('uid')['amount'].max()

uid
111     9.99
222    29.99
333    99.99

# 但是这样days列就没有了，所有需要使用idxmax取出最大行的索引值，然后在df中提取这些索引
df.loc[df.groupby('uid')['amount'].idxmax()]

    uid amount  days
1   111 9.99    2
3   222 29.99   2
5   333 99.99   2

2.按照某个值的差值进行排序

在df中，按照金额和10的差值进行排序，
9.99和10差值最小，排在第一，
99.99和10差值最大，排在最后

# argsort是返回排序后的索引。
(df.amount - 9.99).abs().argsort()

0    1
1    0
2    2
3    4
4    3
5    5

df.loc[(df.amount - 9.99).abs().argsort()]

    uid amount  days
1   111 9.99    2
0   111 4.99    1
2   222 14.99   1
4   333 14.99   1
3   222 29.99   2
5   333 99.99   2

3.数据透视表

查看每个用户每天的总充值金额

df.pivot_table(index='uid', columns='days', values='amount',aggfunc='sum',margins=True)


days    1     2     All
uid         
111 4.99    9.99    14.98
222 14.99   29.99   44.98
333 14.99   99.99   114.98
All 34.97   139.97  174.94

4.求没有外键的两个表的笛卡尔积

求上面两个表的笛卡尔积，即合并上面两张表为一个四行四列的表

df1 = pd.DataFrame([[11,22],[22,33]], columns=['c1', 'c2'])
df2 = pd.DataFrame([['aa','bb'],['cc','dd']], columns=['c3', 'c4'])
df1
    c1  c2
0   11  22
1   22  33

df2
    c3  c4
0   aa  bb
1   cc  dd

# pd.merge可以连接两个表，如果how='outer'的话就是求的笛卡尔积，但是前提是两张表有相同的一个列名
# 如果两张表没有的话，可以自己构造一个，合并完后再删掉即可
df1['t'] = df2['t'] = 1
pd.merge(df1,df2,on='t', how='outer').drop('t', axis=1)
    c1  c2  c3  c4
0   11  22  aa  bb
1   11  22  cc  dd
2   22  33  aa  bb
3   22  33  cc  dd

5.解决narray的嵌套

用dataframe或series转narray有时会遇到array里套array的情况，如下所示：

df = pd.DataFrame({'a':[1,3,2], 'b':[2,3,4], 'c':[4,5,6]})
df = df.groupby('a').apply(lambda x:x.iloc[0].to_numpy()).to_numpy()

df
array([array([1, 2, 4], dtype=int64), array([2, 4, 6], dtype=int64),
       array([3, 3, 5], dtype=int64)], dtype=object)

这个df就是array里还有array，但我们想要的一个二维的array，即array[[]]这样的结构，
这里可以用vstack解决

np.vstack(df)
array([[1, 2, 4],
       [2, 4, 6],
       [3, 3, 5]], dtype=int64)

6.二重索引Series转为dateframe

下面是一个二重索引的series， 现在想要把它转为一个dateframe，
uid作为行索引，而amount作为列索引。

t1 = df.groupby(by=['uid'])['amount'].value_counts()
t1
uid  amount
111  4.99      1
     9.99      1
222  14.99     1
     29.99     1
333  14.99     1
     99.99     1
Name: amount, dtype: int64

使用unstack函数可以实现这个需求。

现在我uid和amount都作为列，整个Series转为3列的dataframe，可以使用reset_index实现。

t1.name = 'count'
t1.reset_index()
    uid amount  count
0   111 4.99    1
1   111 9.99    1
2   222 14.99   1
3   222 29.99   1
4   333 14.99   1
5   333 99.99   1

这里需要注意的是要先重命名t1.name属性，因为原来的name是amount，会和二重索引里的amount冲突。

7. read_csv函数int和空值

遇到一个神奇的问题，使用read_csv读取文件的时候，pands会自动推断某列的类型，如果某列本身是int,但是还有空值的话，会被推断为float。

可以看到b列的类型是float64，如果强行指定为int
image.png
它也不是int，而是object，
这样有个问题是使用to_csv写回csv文件的时候，原来的1会变成1.0，
也就是从int变为了float。
我现在不希望多个.0怎么办呢，直接用astype转为int也是会出错的，因为有None值。
方法是在最后写到csv前转为str类型，csv本身就是个文本，直接写str就好了。

df.b.apply(lambda x: str(int(x)) if not pd.isna(x) else '')