pandas笔记（pandas Data Structures）
pandas包含数据结构和数据操作工具，可用于进行数据清理和快速分析。pandas经常和数字计算工具（比如NumPy和SciPy）一起使用分析文库，或者与matplotlib一起使用进行数据的可视化。pandas采用NumPy的基于数组计算的部分惯用风格，特别是基于数组的计算函数和不带for循环的数据处理。虽然pandas采用了许多来自NumPy的编码习惯用法，但最大的区别在于pandas是为处理表格或异质性（heterogeneous）数据而设计的。相反，NumPy适合处理均一的（homogeneous）数值阵列数据。
使用下面代码调用pandas：
import pandas as pd
所以，如果你看到了有pd.**这样的代码，就说明是pandas的功能。
有关于pandas的数据结构，你需要了解两种主要的数据结构：Series 和 DataFrame。虽然这两个数据结构不能解决所有的问题，但是却可以提供一个坚实的、易于使用的应用基础。
Series
Series是一个一维的、类似数组的对象，它包含一系列的值，和一个相关数组（数据标签），也叫做索引（index）。最简单的Series是由一个数组组成的数据：
In [1]: import pandas as pd
In [2]: obj = pd.Series([4, 7, -5, 3])
In [3]: obj
Out[3]:
0 4
1 7
2 -5
3 3
dtype: int64
In [4]: obj.values
Out[4]: array([ 4, 7, -5, 3])
In [5]: obj.index
Out[5]: RangeIndex(start=0, stop=4, step=1)
因为上面我们并没有为数据指定索引，所以默认的索引就是从0开始的整数，当然你可以自定义数据的索引：
In [6]: obj2 = pd.Series([4, 7, -5, 3], index=['d', 'b', 'a', 'c'])
In [7]: obj2
Out[7]:
d 4
b 7
a -5
c 3
dtype: int64
In [8]: obj2.index
Out[8]: Index(['d', 'b', 'a', 'c'], dtype='object')
筛选大于0的元素以及其对应的索引：
In [9]: obj2[obj2>0]
Out[9]:
d 4
b 7
c 3
dtype: int64
对Series进行计算：
In [10]: obj2 * 2
Out[10]:
d 8
b 14
a -10
c 6
dtype: int64
如果你的data是一个python dict，也可以通过dict构建一个Series:
In [11]: sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
In [12]: obj3 = pd.Series(sdata)
In [13]: obj3
Out[13]:
Ohio 35000
Texas 71000
Oregon 16000
Utah 5000
dtype: int64
你也可以从Series里提取出指定的索引以及其对应的内容：
In [15]: states = ['California', 'Ohio', 'Oregon', 'Texas']
In [16]: obj4 = pd.Series(sdata,index=states)
In [17]: obj4
Out[17]:
California NaN #这里显示的是NaN，是因为在obj3里并没有索引为“California”的内容
Ohio 35000.0
Oregon 16000.0
Texas 71000.0
dtype: float64
将两个Seires相加：
In [18]: obj3 + obj4
Out[18]:
California NaN #只有obj4里有California这个索引
Ohio 70000.0
Oregon 32000.0
Texas 142000.0
Utah NaN #只有obj3里有Utah这个索引，所以任何数和NaN相加都是NaN
dtype: float64
给对象命名，并且给索引这一列加一个列名：
In [19]: obj4.name = 'population'
In [20]: obj4.index.name = 'state'
In [21]: obj4
Out[21]:
state
California NaN
Ohio 35000.0
Oregon 16000.0
Texas 71000.0
Name: population, dtype: float64
DataFrame
DataFrame对于很多分析过生信的人来说并不陌生，它是一个table，包含行和列，行和列有各自的数据类型（数字，字符串等等）。这里的DataFrame有行索引和列索引，你可以把它看成一个具有相同索引的Series字典。数据被存储在一个或更多的二维模块里，而不是列表、字典或其他一些一维数组里。
有很多种方法可以构建DataFrame
（1）最常用的方法是利用等长的list组成的字典或者Numpy array来构建DataFrame:
In [23]: data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
...: 'year': [2000, 2001, 2002, 2001, 2002, 2003],
...: 'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
In [24]: frame = pd.DataFrame(data)
In [25]: frame
Out[25]:
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
3 Nevada 2001 2.4
4 Nevada 2002 2.9
5 Nevada 2003 3.2
如果这里你用的是jupyter notebook的web界面，输出的DataFrame会更好看一些：
查看DataFrame的前5列：
In [26]: frame.head()
Out[26]:
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
3 Nevada 2001 2.4
4 Nevada 2002 2.9
修改你的DataFrame的列名：
In [27]: pd.DataFrame(data, columns=['year', 'state', 'pop'])
Out[27]:
year state pop
0 2000 Ohio 1.5
1 2001 Ohio 1.7
2 2002 Ohio 3.6
3 2001 Nevada 2.4
4 2002 Nevada 2.9
5 2003 Nevada 3.2
提取DataFrame里的某一列：
In [28]: frame['state']
Out[28]:
0 Ohio
1 Ohio
2 Ohio
3 Nevada
4 Nevada
5 Nevada
Name: state, dtype: object
In [29]: frame['year']
Out[29]:
0 2000
1 2001
2 2002
3 2001
4 2002
5 2003
Name: year, dtype: int64
提取DateFrame里的行：
In [6]: frame.loc[frame['state']=='Ohio'] #提取state一列里是Ohio的行
Out[6]:
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
给DataFrame加一列：
In [13]: frame['eastern'] = frame.state == 'Ohio'
In [14]: frame
Out[14]:
state year pop eastern
0 Ohio 2000 1.5 True
1 Ohio 2001 1.7 True
2 Ohio 2002 3.6 True
3 Nevada 2001 2.4 False
4 Nevada 2002 2.9 False
5 Nevada 2003 3.2 False
删除一列：
In [16]: del frame['eastern']
In [17]: frame
Out[17]:
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
3 Nevada 2001 2.4
4 Nevada 2002 2.9
5 Nevada 2003 3.2
显示列名：
In [18]: frame.columns
Out[18]: Index(['state', 'year', 'pop'], dtype='object')
（2）利用嵌套字典构建DataFrame
In [19]: pop = {'Nevada': {2001: 2.4, 2002: 2.9},
...: 'Ohio': {2000: 1.5, 2001: 1.7, 2002: 3.6}}
In [20]: frame3 = pd.DataFrame(pop)
In [21]: frame3
Out[21]:
Nevada Ohio
2001 2.4 1.7
2002 2.9 3.6
2000 NaN 1.5
DataFrame转置：
In [22]: frame3.T
Out[22]:
2001 2002 2000
Nevada 2.4 2.9 NaN
Ohio 1.7 3.6 1.5
根据索引提取内容：
In [23]: pd.DataFrame(pop, index=[2001, 2002, 2003])
Out[23]:
Nevada Ohio
2001 2.4 1.7
2002 2.9 3.6
2003 NaN NaN #原dataFrame里没有2003这个索引，所以结果这里是NaN
给索引列和列名分别起名字：
In [24]: frame3.index.name = 'year'; frame3.columns.name = 'state'
In [25]: frame3
Out[25]:
state Nevada Ohio
year
2001 2.4 1.7
2002 2.9 3.6
2000 NaN 1.5
