2024-03-26

2024-03-25  本文已影响0人  crazycuc

pandas 是 Python 中一个非常强大的数据处理库,它提供了大量的数据结构和数据分析工具,使得数据清洗、转换、分析、可视化等操作变得简单高效。以下是对 pandas 库的基本使用和常见功能的详细展开:

  1. 安装 pandas
    首先,确保你的 Python 环境中已经安装了 pandas。如果没有,你可以通过 pip 安装:

bash
pip install pandas

  1. 导入 pandas
    在 Python 脚本中,你需要导入 pandas:

python
import pandas as pd

  1. 读取数据
    pandas 提供了多种读取数据的方法,比如从 CSV 文件、Excel 文件、数据库、SQL 查询结果等读取数据。

python

从 CSV 文件读取数据

df = pd.read_csv('data.csv')

从 Excel 文件读取数据

df = pd.read_excel('data.xlsx')

  1. 数据结构
    pandas 的核心数据结构是 Series 和 DataFrame。

Series:一维数组,带有一个标签的数组。
DataFrame:二维表格型数据结构,可以存储多种类型的数据,并带有行标签和列标签。
python

创建一个简单的 Series

s = pd.Series([1, 2, 3, 4, 5], name='my_series')

创建一个简单的 DataFrame

data = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]}
df = pd.DataFrame(data)

  1. 数据选择和索引
    你可以通过列名或行标签来选择和操作数据。

python

选择单列

names = df['Name']

选择多列

subset = df[['Name', 'Age']]

通过行标签选择

row = df.loc[0] # 选择第一行

通过整数位置选择

row_by_position = df.iloc[0] # 选择第一行(基于位置)

  1. 数据清洗
    pandas 提供了很多函数用于数据清洗,如处理缺失值、去重、类型转换等。

python

处理缺失值

df.fillna(0) # 将缺失值填充为 0
df.dropna() # 删除含有缺失值的行

数据类型转换

df['Age'] = df['Age'].astype(int) # 将 'Age' 列转换为整数类型

去重

unique_values = df['Name'].unique() # 获取 'Name' 列的唯一值

  1. 数据聚合和分组
    你可以使用 groupby 方法对数据进行分组,并使用聚合函数对每组数据进行计算。

python

按照 'Age' 列进行分组,并计算每组的平均 'Age'

grouped = df.groupby('Age').mean()

  1. 数据合并和连接
    你可以使用 merge、concat 等方法将多个 DataFrame 合并或连接起来。

python

基于列名合并两个 DataFrame

df1 = pd.DataFrame({'key': ['A', 'B', 'C', 'D'], 'value': [1, 2, 3, 4]})
df2 = pd.DataFrame({'key': ['B', 'D', 'E', 'F'], 'value': [5, 6, 7, 8]})
merged_df = pd.merge(df1, df2, on='key')

  1. 数据排序
    你可以使用 sort_values 或 sort_index 方法对数据进行排序。

python

按照 'Age' 列进行排序

sorted_df = df.sort_values('Age')

按照行标签进行排序

sorted_df_by_index = df.sort_index()

  1. 数据可视化
    虽然 pandas 本身并不直接提供数据可视化功能,但它与 matplotlib、seaborn 等库紧密集成,可以方便地创建图表。

python
import matplotlib.pyplot as plt

绘制 'Age' 列的直方图

df['Age'].plot(kind='hist', bins=10)
plt.show()

  1. 保存到文件
    处理完数据后,你可以将 DataFrame 保存到文件,如 CSV、Excel 等。

python

保存为 CSV 文件

df.to_csv('output.csv', index=False)

上一篇 下一篇

猜你喜欢

热点阅读