pandas处理数据时常见方法总结（一）
一、隔行（上下行）之间的计算
1、shift( )方法，将数据先移到同一行，再进行计算
df = pd.DataFrame(np.array([[10,24,13,5,8], [4,10,9,16,2], [17,20,16,19,6]]).reshape(5,3),columns=['a', 'b', 'c'])
df['diff'] = df['c'].shift() - df['c']
df
返回结果如图：
image.png
shift函数原型：
df.shift(periods=1, freq=None, axis=0, fill_value=None)
其中：
-
periods：类型为int，表示移动的幅度，可以是正数，也可以是负数，默认值是1,1就表示移动一次，注意这里移动的都是数据，而索引是不移动的，移动之后没有对应值的，就赋值为NaN
-
freq： DateOffset, timedelta, or time rule string，可选参数，默认值为None，只适用于时间序列，如果这个参数存在，那么会按照参数值移动时间索引，而数据值没有发生变化
-
axis：{0, 1, ‘index’, ‘columns’}，表示移动的方向，如果是0或者’index’表示上下移动，如果是1或者’columns’，则会左右移动
-
fill_value：移位后产生的空值是否填充，默认为np.nan
2.diff（）方法， diff函数是用来将数据进行某种移动之后与原数据进行比较得出的差异数据
df = pd.DataFrame(np.array([[10,24,13,5,8], [4,10,9,16,2], [17,20,16,19,6]]).reshape(5,3),columns=['a', 'b', 'c'])
df.diff()
返回结果如图：
image.png
diff（）函数原型：
DataFrame.diff(periods=1, axis=0)
其中：
-
periods：移动的幅度，int类型，默认值为1。
-
axis：移动的方向，{0 or ‘index’, 1 or ‘columns’}，如果为0或者’index’，则上下移动，如果为1或者’columns’，则左右移动。
二、Dataframe和Series 的类型区别
image.png
image.png
三、Dataframe 、Series、Python列表的排序：sort_index() 和sort_values()方法，sort（）sorted（）方法
1、按值排序
DataFrame.sort_values(by, axis=0, ascending=True, inplace=False, kind=’quicksort’, na_position=’last’)
-
参数
image.png
df.sort_values([‘class’,‘score’],ascending=[1,0],inplace=True)
- 返回：
sorted_obj : DataFrame
2、按索引排序
DataFrame.sort_index(axis=0, level=None, ascending=True, inplace=False, kind=’quicksort’,na_position=’last’, sort_remaining=True, by=None)
-
参数
image.png
- 返回
sorted_obj : DataFrame
3、选取排序后的值
DataFrame.nlargest(n, columns, keep=’first’)
DataFrame.nsmallest(n, columns[, keep])
-
参数
image.png
3、python 列表排序方法sort、sorted
Python list内置sort()方法用来排序，也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。
1）排序基础
简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一个新的list，新的list的元素基于小于运算符(lt)来排序。
sorted([5, 2, 3, 1, 4])
[1, 2, 3, 4, 5]
也可以使用list.sort()方法来排序，此时list本身将被修改。通常此方法不如sorted()方便，但是如果不需要保留原来的list，此方法将更有效。
>>> a = [5, 2, 3, 1, 4]
>>> a.sort()
>>> a
[1, 2, 3, 4, 5]
另一个不同就是list.sort()方法仅被定义在list中，相反地sorted()方法对所有的可迭代序列都有效。
>>> sorted({1: 'D', 2: 'B', 3: 'B', 4: 'E', 5: 'A'})
[1, 2, 3, 4, 5]
2）key参数/函数
从python2.4开始，list.sort()和sorted()函数增加了key参数来指定一个函数，此函数将在每个元素比较前被调用。 例如通过key指定的函数来忽略字符串的大小写：
>>> sorted("This is a test string from Andrew".split(), key=str.lower)
['a', 'Andrew', 'from', 'is', 'string', 'test', 'This']
key参数的值为一个函数，此函数只有一个参数且返回一个值用来进行比较。这个方法很快速，因为key指定的函数将准确地对每个元素调用。
更广泛的使用情况是用复杂对象的某些值来对复杂对象的序列排序，例如：
>>> student_tuples = [
('john', 'A', 15),
('jane', 'B', 12),
('dave', 'B', 10),
]
>>> sorted(student_tuples, key=lambda student: student[2]) # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
3）Operator 模块函数
上面的key参数的使用非常广泛，因此python提供了一些方便的函数来使得访问方法更加容易和快速。operator模块有itemgetter，attrgetter，从2.6开始还增加了methodcaller方法。使用这些方法，上面的操作将变得更加简洁和快速：
>>> from operator import itemgetter, attrgetter
>>> sorted(student_tuples, key=itemgetter(2))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
>>> sorted(student_objects, key=attrgetter('age'))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
operator模块还允许多级的排序，例如，先以grade，然后再以age来排序：
>>> sorted(student_tuples, key=itemgetter(1,2))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]
>>> sorted(student_objects, key=attrgetter('grade', 'age'))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]
这个功能相当于DataFrame的排序函数里参数‘by’指定的内容，即通过什么原则进行排序
4）升序和降序
list.sort()和sorted()都接受一个参数reverse（True or False）来表示升序或降序排序。例如对上面的student降序排序如下：
>>> sorted(student_tuples, key=itemgetter(2), reverse=True)
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
>>> sorted(student_objects, key=attrgetter('age'), reverse=True)
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
四、通过Python操作将数据写入MySQL之to_sql()方法解析
DataFrame.to_sql (name，con，schema = None，if_exists ='fail'，index = True，index_label = None，chunksize = None，dtype = None )
to_sql（）将存储在DataFrame中的记录写入SQL数据库。支持SQLAlchemy支持的数据库。可以新创建，附加或覆盖表。
image.png
