4.处理缺失数据
教学中的数据和实际数据的区别在于，实际数据很少是干净整齐的。许多有趣的数据集都有某种程度上的数据缺失。更糟糕的是，不同的数据源数据丢失的方式也不同。
本章，我们将会探讨对缺失数据的一般性考虑，讨论Pandas是怎样选择表达的，我们也会演示几种用来处理缺失数据的Pandas内置工具。在整本书中，我们一般将缺失数据称为NULL、NA或NA值。
对缺失数据约定的权衡
对于在表格和DataFrame中缺失数据的表示有好几种方案。通常情况下，它们都是基于两种策略：使用一个用于全局指示缺失值的掩码，或者选择一个表示缺失条目的哨兵值。
使用掩码方法，掩码可能是一个独立完整的布尔数组，或者在数据表达中引入一个适当的bit位来局部的指示空值状态。
使用哨兵方法，哨兵值可以是一些约定好的特殊数值，比如为表示一个缺失的整型数值，可以使用-9999或少见的bit模式，也可以是更全局性的约定，例如使用NaN来表示一缺失的浮点型数值，NaN是IEEE浮点规范中的一个特殊值。
所有的方法都需要一些权衡：使用独立的掩码数组需要分配额外的布尔数组空间，这将对储存和计算都增加负担。哨兵值减少了可以有效表达的数据范围，也可能在CPU和GPU的计算时需要另外的逻辑。像NaN这样普通的特殊值并不是对所有数据类型都适用。
在大多数情况下，并没有一个普遍的最优选择存在，不同的语言和系统使用不同的约定。例如R语言在每种数据类型里面使用保留的bit模式来表明缺失的数据，而SciDB系统对每个单位附加额外的字节来指示缺失状态。
Pandas上的数据缺失
Pandas处理缺失数据的方法受到它所依赖的NumPy包的约束，NumPy里面对非浮点型数据并没有内置的缺失值表达。
Pandas可以采用R语言的bit模式来标记各种数据类型的空值，但这种方法被证明是相当的不方便。R语言只包含四种基本数据类型，而NumPy支持的数据类型要多得多：例如，R有一个但整型类型，但考虑到可用精度，符号性和字节的编码顺序，NumPy支持基本整型类型多达14种。为所有可用的NumPy类型保留一个bit模式，将会导致大量的负担来处理不同类型的不同操作，很有可能需要NumPy包引出一个新的分支来支持。另外，对于小规模的数据类型（如8位的整数），牺牲其中一个bit作为掩码，将会显著的减少它所能表示的数据范围。
NumPy也不支持掩码数组，就是那种用来表示是好数据还是坏数据的独立布尔数据。Pandas可以继承这些，但是存储空间，计算和代码维护的额外代价使这种方法不使一个吸引人的选项。
考虑到这些限制，Pandas选择使用哨兵值来表示缺失数据，并且选用了两种Python里面已经存在的空值：特殊的浮点值NaN和Python的None对象。如我们将看到的，这种选择有一些副作用，但实际上它是在考虑到各种利益情况下的一个较好的折中。
None：Python式的缺失数据
Pandas使用的第一哨兵值是None,一个通常用在Python代码种表示缺失的单态对象。因为它是一个Python对象，None不能用在任何专属的NumPy/Pandas数组中，而只能用在对象类型位‘object’的数组中：
import numpy as np
import pandas as pd
vals1 = np.array([1, None, 3, 4])
vals1
array([1, None, 3, 4], dtype=object)
dtype=object意味着从NumPy数组中可以推断出最通用的数据类型是Python对象。尽管这种对象数组在某些情况下有用，但任何数据操作都是在Python层面的，这种操作比对原生类型的快速操作要慢很多。
for dtype in ['object', 'int']:
print("dtype =", dtype)
%timeit np.arange(1E6, dtype=dtype).sum()
print()
dtype = object
10 loops, best of 3: 78.2 ms per loop
dtype = int
100 loops, best of 3: 3.06 ms per loop
在数组种使用Python 对象意味着如果要在带有None值的数组上执行聚合操作如sum（）或min（），通常会得到错误：
vals1.sum()
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-4-749fd8ae6030> in <module>()
----> 1 vals1.sum()
/Users/jakevdp/anaconda/lib/python3.5/site-packages/numpy/core/_methods.py in _sum(a, axis, dtype, out, keepdims)
30
31 def _sum(a, axis=None, dtype=None, out=None, keepdims=False):
---> 32 return umr_sum(a, axis, dtype, out, keepdims)
33
34 def _prod(a, axis=None, dtype=None, out=None, keepdims=False):
TypeError: unsupported operand type(s) for +: 'int' and 'NoneType'
NaN：缺失数值数据
另一个缺失数据表示，NaN，就有些不同；它是一个能够被所有使用IEEE浮点表达式系统识别的特殊的浮点值。
vals2 = np.array([1, np.nan, 3, 4])
vals2.dtype
dtype('float64')
注意NumPy为这个数组选择一个原生的浮点类型：这意味着与之前的的对象数组不同，这个浮点数组支持在编译代码中的快速操作。你可能意识到NaN有点像数据病毒--它能感染任何它所接触的对象。无论是什么操作，与NaN计算的结果都是NaN：
1 + np.nan
nan
0 * np.nan
nan
注意，这意味着对那些数据的聚合操作都是有效的（它们不会产生错误），只是没什么用处：
vals2.sum(), vals2.min(), vals2.max()
(nan, nan, nan)
NumPy提供了一些特殊的聚合方法来忽略那些缺失的数据：
np.nansum(vals2), np.nanmin(vals2), np.nanmax(vals2)
(8.0, 1.0, 4.0)
记住NaN是一个特殊的浮点值；对于整型，字符串和其他类型并没有对应的NaN值：
Pandas中的NaN和None
NaN和None在Pandas中都有使用，但对它们的处理被设计成几乎可以互换，在合适的情况下对它们进行转换：
pd.Series([1, np.nan, 2, None])
0 1.0
1 NaN
2 2.0
3 NaN
dtype: float64
对于那些没有哨兵值的类型，但空值出现时，Pandas会自动的进行类型转换。例如，我们给一个整型数组中的值设置为np.nan，整个数组将会自动的向上转型为浮点类型来适应NA值：
x = pd.Series(range(2), dtype=int)
x
0 0
1 1
dtype: int64
x[0] = None
x
0 NaN
1 1.0
dtype: float64
注意除了把整型数组转换为浮点型，Pandas也自动的把None转换为NaN值
这种转换与特定语言（如R语言）的统一的方法比起来看上去不那么优雅，但在实际的使用过程中，Pandas的哨兵/转换方法工作的相当好，很少导致问题。
下表列出了Pandas中当出现NA值时的转型约定：
| Typeclass | Conversion When Storing NAs | NA Sentinel Value |
|---|---|---|
floating |
No change | np.nan |
object |
No change |
None or np.nan
|
integer |
Cast to float64
|
np.nan |
boolean |
Cast to object
|
None or np.nan
|
记住，在Pandas上，字符串数据总时被存储为对象类型。
空值操作
如我们看到的，Pandas把None和NaN在表示缺失或空值时当成时基本上可互换的。为了简化这种约定，有几个有用的方法用于检测，移除以及替换Pandas数据结构中的空值。它们是：
-
isnull(): 生成布尔掩码用来指示缺失的数据 -
notnull():isnull()的反操作 -
dropna(): 返回数据过滤后的版本 -
fillna(): 返回缺失数据被填充后的数据拷贝
我们将对这些函数进行简要探索和示范，然后结束这一部分。
空值检测
Pandas数据结构有两个有用的方法用于检测空值：isnull()和notnull()。两者都在数据上返回布尔掩码。例如：
data = pd.Series([1, np.nan, 'hello', None])
data.isnull()
0 False
1 True
2 False
3 True
dtype: bool
我们在 Data Indexing and Selection 提到过，布尔掩码也可以直接被用作Series或FataFrame的索引：
data[data.notnull()]
0 1
2 hello
dtype: object
isnull()和notnull()方法对于DataFrame产生相似的布尔结果。
去掉空值
除了之前用过的掩码手段，还有很方便的函数，dropna(用于移除NA值)和fillna(填充NA值)。对于Series，结果非常直观：
data.dropna()
0 1
2 hello
dtype: object
对于DataFrame，会有更多选项。比如下面的DataFrame：
df = pd.DataFrame([[1, np.nan, 2],
[2, 3, 5],
[np.nan, 4, 6]])
df
| 0 | 1 | 2 | |
|---|---|---|---|
| 0 | 1.0 | NaN | 2 |
| 1 | 2.0 | 3.0 | 5 |
| 2 | NaN | 4.0 | 6 |
我们不能DataFrame中的单个值；我们只能去掉整行或整列。在不同的应用环境，你可能想用不同的方式，所以dropna()为DataFrame提供了许多选项。
默认情况下，dropna()将会去掉包含空值的所有行和列：
df.dropna()
| 0 | 1 | 2 | |
|---|---|---|---|
| 1 | 2.0 | 3.0 | 5 |
或者，你可以沿着不同的轴去掉NA值；axis=1会去掉所有包含空值的列：
df.dropna(axis='columns')
| 2 | |
|---|---|
| 0 | 2 |
| 1 | 5 |
| 2 | 6 |
但是这种方法也去掉了一些好的数据；你可能想只去掉只含有NA值的行或列，或者大部分是NA值的行或列。可以通过指定参数how或者thresh来精确的控制允许的空值数目。
how的默认值是‘any’，因此任何包含空值的行或列都会被去掉。你可以指定how=‘all’，这样就只是会去掉全部是空值的行/列：
df[3] = np.nan
df
| 0 | 1 | 2 | 3 | |
|---|---|---|---|---|
| 0 | 1.0 | NaN | 2 | NaN |
| 1 | 2.0 | 3.0 | 5 | NaN |
| 2 | NaN | 4.0 | 6 | NaN |
df.dropna(axis='columns', how='all')
| 0 | 1 | 2 | |
|---|---|---|---|
| 0 | 1.0 | NaN | 2 |
| 1 | 2.0 | 3.0 | 5 |
| 2 | NaN | 4.0 | 6 |
为了细粒度的控制，thresh参数允许你规定可以保留行/列所需要的最少非空数据数目：
df.dropna(axis='rows', thresh=3)
| 0 | 1 | 2 | 3 | |
|---|---|---|---|---|
| 1 | 2.0 | 3.0 | 5 | NaN |
第一行和最后一行被去掉了，因为它们只包含两个非空数据。
填充空值
有时候与其去掉NA值，我们宁愿把它们换成有效的值。这个值可能是像0那样的单个数字，或者有效值的插值。可以通过使用isnull（）方法作为过滤条件来原地替换，但是因为这个操作很常用，Pandas提供了fillna（）方法，它可以返回空值被替换后的数组拷贝。
考虑如下Series：
data = pd.Series([1, np.nan, 2, None, 3], index=list('abcde'))
data
a 1.0
b NaN
c 2.0
d NaN
e 3.0
dtype: float64
我们可以用单个数值如0来替换空值：
data.fillna(0)
a 1.0
b 0.0
c 2.0
d 0.0
e 3.0
dtype: float64
我们可以指定前值填充方法来使用空值前面的数据作为替换：
# forward-fill
data.fillna(method='ffill')
a 1.0
b 1.0
c 2.0
d 2.0
e 3.0
dtype: float64
或者我们可以指定后值填充方法使用空值后面的值作为替换值：
# back-fill
data.fillna(method='bfill')
a 1.0
b 2.0
c 2.0
d 3.0
e 3.0
dtype: float64
对于DataFrames，这些选项是类似的，但我们也可以指定发生填充的轴向：
df
| 0 | 1 | 2 | 3 | |
|---|---|---|---|---|
| 0 | 1.0 | NaN | 2 | NaN |
| 1 | 2.0 | 3.0 | 5 | NaN |
| 2 | NaN | 4.0 | 6 | NaN |
df.fillna(method='ffill', axis=1)
| 0 | 1 | 2 | 3 | |
|---|---|---|---|---|
| 0 | 1.0 | 1.0 | 2.0 | 2.0 |
| 1 | 2.0 | 3.0 | 5.0 | 5.0 |
| 2 | NaN | 4.0 | 6.0 | 6.0 |
注意在前向填充中，如果前值不可用，NA值将会保留。
