Programing Language

R语言编程-Tidyverse 书籍-第二章（1）

2022-09-13  本文已影响0人  Hello育种

本章节主要讲数据操作

三个关键点

  1. 向量化编程思维和函数式编程思维， 应用在数据框或更高级的数据结构中
  2. 将复杂数据操作分解为若干基本数据操作的能力
    ：数据连接、数据重塑（长宽变换/拆分合并列）、筛选行、排序行、选择列、修改列、分组汇总
  3. 接受数据分解的操作思维

1 管道操作

magrittr 包引入了管道操作，能够通过管道将数据从一个函数传给另一个函数，从而用若干函数
构成的管道依次变换你的数据。
例如
x %>% f() %>% g()
依次对数据进行若干操作：先对x 进行f 操作, 接着对结果数据进行g 操作

常用管道操作

管道默认将数据传给下一个函数的第1 个参数，且它可以省略。
如

c(1, 3, 4, 5, NA) %>%
    mean(na.rm = TRUE)
数据可以在下一个函数中使用多次

数据经过管道默认传递给函数的第1 个参数（通常直接省略）；若在非第1 个参数处使用该数据，
必须用“.” 代替（绝对不能省略），这使得管道作用更加强大和灵活.
同时用于拼接成字符串给main 参数用于图形标题

c(1, 3, 4, 5) %>%
   plot(main = str_c(., collapse=","))

"." 用于管道操作中代替数据；".x" 用于purrr 风格公式（匿名函数）。

2 数据读入

readr 包

read_csv() 和read_tsv()；
专门的欧式： read_csv2() 和read_tsv2()；欧式格式数据以“;” 为分隔符，“,” 为小数位.
写出数据到文件：write_csv(), write_tsv(), write_csv2(), write_tsv2()
转化数据类型：parse_number(), parse_logical(), parse_factor()

readxl 包

专门读取Excel 文件，包括同一个工作簿中的不同工作表：
read_excel(): 自动检测xls 或xlsx 文件
read_xls(): 读取xls 文件
read_xlsx(): 读取xlsx 文件
读写Excel 文件好用的包，还有openxlsx

haven 包

读写SPSS, Stata, SAS 数据：

保存与载入rds 数据

除了save() 和load() 函数外，以下函数也可以：
write_rds(iris, "my_iris.rds")
dat = read_rds("my_iris.rds")

连接数据库

将大数据存放在远程数据库（远程服务器或本地硬盘），然后建立与R 的连接，再从R 中执行查
询、探索、建模等。
dplyr 是tidyverse 操作数据的最核心包，而dbplyr 包是用于数据库的dplyr 后端，让您能够
操作远程数据库中的数据表，就像它们是内存中的数据框一样。安装dbplyr 包时，还会自动安装DBI
包，它提供了通用的接口，使得能够使用相同的代码与许多不同的数据库连用。
常见的主流数据库软件：SQL Server, MySQL, Oracle 等都能支持，但还需要为其安装特定的驱
动，比如
RMariaDB 包：连接到MySQL 和MariaDB

这里不详细写，因为很少使用。

中文编码

中文乱码是让很多编程者头痛的问题。
ASCII最通用， 是UTF8与GBK两者之间的交集
UTF8目前具有更加通用的形式
每个读取函数都有自己读入的设置参数
readr 包和rvest 包（爬虫）都提供了函数guess_encoding()，可检测文本和网页的编码
方式；python 有一个chardet 库在检测文件编码方面更强大。

3 数据连接

合并行：下方堆叠新行，根据列名匹配列，注意列名相同，否则作为新列（NA 填充）；
合并列：右侧拼接新列，根据位置匹配行，行数必须相同。

purrr 包中map_dfr() 和map_dfc() 函数可以在批量读入数据的同时做合并行/合并列。

根据值匹配合并数据框

左连接：left_join()， 保留x 所有行，合并匹配的y 中的列, 没有的使用NA补充

x  %>% 
   left_join(y, by = c("var1"="var2")) 
或者多个变量： by=c("var1", "var2")

类似的有
右连接：right_join()， 保留所有的y，
全连接：full_join()， 保留所有的行
内连接：inner_join(), 只保留共有的行
半连接：semi_join(),根据在y 中，来筛选x 中的行。
反连接：anti_join(), 根据不在y 中，来筛选x 中的行

多个数据表连接，使用purrr包中的reduce()

需要批量读取它们，再依次做全连接（做其他连接也是类似的）。reduce() 可以实现先将前两个
表做全连接，再将结果表与第三个表做全连接（更多表就依次这样做下去）：

files = list.files("datas/achieves/", pattern = "xlsx", full.names = TRUE)
map(files, read_xlsx) %>%
reduce(full_join, by = " 人名") # 读入并依次做全连接

若还是上述数据，但是在一个工作簿的多个工作表中，批量读取并依次做全连接：

path = "datas/3-5 月业绩.xlsx"
map(excel_sheets(path),~ read_xlsx(path, sheet = .x)) %>%
reduce(full_join, by = " 人名")

集合运算

intersect(x, y) # 返回x 和y 共同包含的观测；
union(x, y) # 返回x 和y 中所有的（唯一) 观测；
setdiff(x, y) # 返回在x 中但不在y 中的观测。

数据重塑

整洁的数据：是变量为一列， 观测值为一行，组成数据框。
如果不整洁，需要首先重塑数据。
数据重塑主要包括长宽表转化、拆分/合并列。
使用函数tidyr包的 pivot_longer() 和pivot_wider().

宽表变长表

宽表的特点是：表比较宽，本来该是‘‘值” 的，却出现在‘‘变量（名）” 中。
用tidyr 包中的pivot_longer() 函数来实现宽表变长表，其基本格式为：
pivot_longer(data, cols, names_to, values_to, values_drop_na, ...)

宽变长
每行有一个观测值
df %>% 
  pivot_longer(-var, names_to = "year", values_to = "GDP")
每行有多个观测值
df %>%  
  pivot_longer(-var, 
               names_to = c(".value", "child"),
               names_sep = "_",
               values_drop_na = T
               )

df %>% 
  pivot_longer(everything(),
               names_to = c("number", ".value"),
               names_pattern = "(.*\\d)(.*)")

长表变宽表

用tidyr 包中的pivot_wider() 函数来实现长表变宽表，其基本格式为：

pivot_wider(data, id_cols, names_from, values_from, values_fill, ...)

另外还有若干帮助修复列名的参数：names_prefix, names_sep, names_glue.

长变宽时，经常会遇到两个问题：

df = df %>%
group_by(y) %>%
mutate(n = row_number())
df

拆分列与合并列

用separate() 函数来拆分列，其基本语法为：
** separate(data, col, into, sep, ...)**

用unite() 函数来合并列，其基本语法为：
unite(data, col, sep, ...)

方形化

方形化（Rectangling）是将一个深度嵌套的列表（通常来自JSON 或XML）驯服成一个整齐的行 和列的数据集

2.5 操作数据

用dplyr 包实现各种数据操
共有5 种基本数据操作：

根据正则表达式匹配选择列：
df %>%
   select(matches("m.*a"))

根据条件（逻辑判断）选择列，例如选择所有数值型的列：
df %>%
     select(where(is.numeric))

也可以自定义返回TRUE 或FALSE 的判断函数，支持purrr 风格公式写法。例如，选择列和>3000 的列：
df[, 4:8] %>%
select(where(~ sum(.x, na.rm = TRUE) > 3000))
调整列的顺序

列是根据被选择的顺序排列
everything() 返回未被选择的所有列，将某一列移到第一列时很方便：

df %>%
   select(var5, everything())

用relocate() 函数，将选择的列移到某列之前或之后，基本语法为：
relocate(.data, ..., .before, .after)

例如，将数值列移到name 列的后面：
df %>%
relocate(where(is.numeric), .after = name)
set_names() 为所有列设置新列名
rename() 只修改部分列名，格式为：新名= 旧名

rename_with(.data, .fn, .cols) (最好用)

比如，将包含”m’’ 的列名，都拼接上前缀”new_“:

df %>%
    rename_with(~ paste0("new_", .x), matches("m"))

across()

函数across() 人如其名，让零个/一个/多个函数穿过所选择的列，即同时对所选择的多列应用若干函数，基本格式为
across(.cols = everything(), .fns = NULL, ..., .names)

across() 支持各种选择列语法，与mutate() 和summarise() 连用，产生非常强大的同时修改/（多种) 汇总多列效果；
across() 也能与group_by(), count() 和distinct() 连用，此时.fns 为NULL，只起选择列的作用。
新组合：

上一篇下一篇

猜你喜欢

热点阅读