pandas中的3个宝藏函数
3个Pandas的宝藏函数
大家好，我是Peter呀~
在利用Pandas进行数据处理的时候，我们经常需要对某行或者某列的数据、甚至是全部的元素执行某个相同的操作。
Pandas中的map、apply和applymap就可以解决绝大部分这样的数据处理需求，让你不再重复操作。本文结合具体的例子来讲解如何使用这3个宝藏函数。
image
Pandas连载文章
目前已经连载了17篇文章，其中1-16篇属于《深入浅出Pandas数据分析》的第一版，从第17篇的透视表和交叉表开始，属于进阶内容。
image
模拟数据
下面是一份主要模拟的数据，几位同学的个人信息（数据仅供学习）
image
import numpy as np
import pandas as pd
data = pd.DataFrame({"name":["小明","小红","小张","小周","小孙","小王"],
"sex":["男","女","女","男","男","男"],
"birthday":["2003-07-07","1993-08-09","1999-03-05","1995-08-19","2002-11-18","1996-07-01"],
"address":["深圳南山区","广州越秀区","浙江杭州","上海","北京海淀","湖北省武汉市武昌"],
"age":[18,28,22,26,19,25],
"height":[189,178,167,172,182,185],
"weight":[89,72,62,68,79,81]
})
data
image
我们看下数据类型：前面4个都是字符类型，后面的3个数值型
image
map
假设我们现在有个这样的需求：因为有时候处理数据的时候必须使用数值型数据，将上面数据的性别这栏中的男替换成1，女替换成0。
该如何实现呢？
方法1：循环
如果你不想搞得那么复杂：通过循环判断性别的男女，然后直接赋值来实现。
每次操作之前，我们先生成一个模拟数据的副本，不破坏原始数据
image
写个循环进行赋值：
image
方法2：map实现
循环的方法就是比较容易理解，写起来更方便；但是当我们的数据量过大的时候，循环就会太慢啦。使用map如何实现？
还是先生成一个副本：
image
1、通过字典的映射关系
image
2、写个函数传给map
image
map使用小结：使用字典或者函数传递给map方法，它都会对传入的数据逐个当做参数传入到字典或者函数中，然后得到映射的值
apply
apply方法在使用的时候和map是比较类似的，只不过apply更全、更强大，它能够传入更为复杂的函数，通过例子来讲解下。
参数
DataFrame.apply(
func, # 待执行的函数
axis=0, # 沿着哪个轴操作，默认是0-index,1-column
raw=False, # 是否转成numpy的ndarray数组进行操作，默认是false
result_type=None, # expand’, ‘reduce’, ‘broadcast’, None # 当axis=1执行，对列属性名进行操作
args=(), # 两个可选参数
**kwargs)
进行操作之前还是先生成一个副本data3：
image
传入不同函数
在apply方法中我们可以传入各种不同的函数：
- 自定义函数
- python匿名函数
- python自带函数
- pandas自带函数
1、自定义函数
我们传入自定义函数：上面的改变性别表示方法的函数
image
假设上面的年龄age都是实岁，我们想看每个人的虚岁，也就是给年龄加上1（age+1），该如何处理？
image
2、python的匿名函数：lambda
image
3、python自带函数
我们传入的是python自带的len函数，求解每个字符串的长度：
image
4、pandas自带函数
我们模拟数据的时候，字段birthday是字符类型，现在我们使用pandas中自带的函数转成时间相关的数据类型：
转化前
image
转化后
image
指定轴
可以指定axis参数，表示根据哪个轴进行操作，默认是axis=0，列方向上
为了说明这个参数，我们在模拟一个简单的数据：
image
从默认情况、axis=0、axis=1进行对比：
image
看看过Excel中的效果：
image
image
result_type
主要是对新生成的DataFrame的列名进行操作，且只能在axis=1上进行操作，3种取值情况：
- expand
- broadcast
- reduce
1、使用result_type="expand"
image
2、使用result_type="broadcast"
列名保持不变化
image
3、使用result_type="reduce"
最终生成的是一个Series类型的数据
image
applymap
applymap的使用具有一定的限制性，它是针对DataFrame的每个数据执行相同的操作。
DataFrame.applymap(func, na_action=None, **kwargs)
为了说明，模拟一份简单的数据：
image
可以看到，上面的数据都是一个类型float64。
每个数据加1
image
每个数据保留3位小数
格式化输出数据：每个数据保留3位小数
image
改变数据类型
上面的模拟数据df的数据类型是float64，现在将它们统一转成str类型：
image
缺失值处理
如果数据中存在缺失值，使用na_action参数来处理：
image
总结
对数据的行、列进行同一个操作十分常见，本文结合各种例子进行了讲解：
- map：能够满足绝大部分Series类型数据的同一个操作
- apply：map的功能都能够实现，比较灵活，能够传入各种复杂或者自带的函数进行数据处理
- applymap：对DataFrame中的数据执行同一个操作，使用较少
