P4 pyspark 数据清洗
2023-12-31 本文已影响0人
山猪打不过家猪
1 重点
2清洗数据
一个简单的数据清洗的过程
2.1 使用更加简洁的方式读取文件
- 使用简洁的读取方式
df = pyspark.read.load('FileStore/tables/aaa.csv', format = 'csv', sep = ',', header = True, escape = '"', inferschema = True)
2.2 查看数据的一些基本信息
查看表信息，用来确认我们如何处理这些数据
- 查看总共的数据量
df.count()
- 读取前3行的数据，了解字段
df.show(3)
- 查看表字段的信息，和上面2对照
df.printSchema()
2.3 数据清洗
- 去除不需要的多列
df.drop('size', 'Type', 'Content Racing', 'Last Updated')
df.show(3)
- 删除非法字段，更改类型
from pyspark.sql.functions import *
df = df.withColumn('Reviews', col('Review').cast(IntegerType()))
.withColumn('Installs', regexp_replace(col('Installs'), '[^0-9]' , ''))
