dplyr 1.0.0 之 列操作
dplyr 1.0.0 之 列操作
加载包
library(tidyverse)
<a name="46e11837"></a>
多列进行同样的操作
<br />比如:对数据 df 中的 a、b、c、d 列都取他们的平均值:<br />
df %>%
group_by(g1, g2) %>%
summarise(a = mean(a), b = mean(b), c = mean(c), d = mean(c))
<br />通过本节我们将会学到用函数 across() 简化命令<br />
df %>%
group_by(g1, g1) %>%
summarise(across(a:d), mean)
<br />本节我们将讨论 across() 函数的几个用法,特别是结合函数 summarise() 来连用,展示为什么我们后面要使用 across() 而不使用以前的 _if()、_at()、_all() 系列变体函数。<br />
<a name="d19255e6"></a>
across() 函数简介:
- 第一个参数,选择你所想要操作的列(类似于 select() 函数),我们可以通过位置、名字、数据类型来选择。
- 第二个参数,
.fns
就是要对列进行的操作函数,可以类似purrr
中的公式,比如:~ .x/2
<a name="64a6b22c"></a>
across() 函数与 summarise() 函数连用示例:
# 选择字符串列进行统计长度信息
starwars %>%
summarise(across(where(is.character), ~length(unique(.x))))
# 选取指定列,求长度信息
starwars %>%
group_by(species) %>%
filter(n() > 1) %>%
summarise(across(c(sex, gender, homeworld), ~ length(unique(.x))))
# 选取数值列,进行求均值
starwars %>%
group_by(homeworld) %>%
filter(n() > 1) %>%
summarise(across(where(is.numeric), ~ mean(.x, na.rm = T)))
df <- data.frame(g = c(1, 1, 2), x = c(-1, 1, 3), y = c(-1, -4, -9))
df %>%
group_by(g) %>%
summarise(across(where(is.numeric), sum))
<a name="e1666bdd"></a>
对列使用多个函数处理
- glue:控制输出名
min_max <- list(
min = ~min(.x, na.rm = T),
max = ~max(.x, na.rm = T)
)
starwars %>%
summarise(across(where(is.numeric), min_max))
# 怎么控制输出结果列名呢?
# 使用 glue 包
# {fn} 表示使用的函数名,{col} 表示操作的列名
starwars %>%
summarise(across(where(is.numeric), min_max, .names = "{fn}.{col}"))
# 如果我们想要将同样函数处理的数据放置于一起,我们就需要将函数分开
# 我们可以看到结果是很奇怪的。
starwars %>%
summarise(across(where(is.numeric), ~min(.x, na.rm = T), .names = "min.{col}"),
across(where(is.numeric), ~max(.x, na.rm = T), .names = "max.{col}"))
<a name="2bff4d89"></a>
Current column:
cur_column()
df <- tibble(x = 1:3, y = 3:5, z = 5:7)
mult <- list(x = 1, y = 10, z = 100)
df %>%
mutate(across(all_of(names(mult)), ~.x*mult[[cur_column()]]))
<a name="7492ae65"></a>
Gotchas:陷阱,踩坑
- across 在结合 summarise() 函数使用时候,会自动将前面所计算的函数:比如 n() 考虑在内,会覆盖 n() 结果。
df <- data.frame(x = c(1, 2, 3), y = c(1, 4, 9))
df %>%
summarise(n = n(), across(where(is.numeric), sd))
# 可看到这里 n() 统计结果为 NA,因为 n 为一个数值,所以后面 across() 计算了他的 sd 值,3 的 sd 值为 NA,如果我们想解决这一个问题,我们就需要将 n() 统计放置于 across() 函数处理之后
df %>%
summarise(across(where(is.numeric), sd), n = n())
# 还有另外一种方法,即在 across() 函数中加上一个条件 !n
df %>%
summarise(n = n(), across(where(is.numeric) & !n, sd))
<a name="52a16911"></a>
其他操作:
<a name="c09031f1"></a>
- across() 与 mutate() 连用
<a name="58e3e61f"></a>
将所有数值变量 rescale 到 0-1:
rescale01 <- function(x){
rng <- range(x, na.rm = T)
(x - rng[1])/(rng[2] - rng[1])
}
df <- tibble(x = 1:4, y = rnorm(4))
df %>%
mutate(across(where(is.numeric), rescale01))
<a name="118e4554"></a>
- across() 与 filter() 函数连用
<a name="8d01315d"></a>
查找所有没有缺失值 NA 的列
starwars %>%
filter(across(everything(), ~ !is.na(.x)))
<a name="8fc106be"></a>
- across() 与 distinct() 函数连用
starwars %>%
distinct(across(contains("color")))
<a name="789371cf"></a>
- across() 与 count() 函数连用
starwars %>%
count(across(contains("color")), sort = TRUE)
<br />注意:across() 函数不能与 select() 、rename() 函数连用,因为他们已经使用了选择的语法,我们如果想要使用函数来改变列名那么就需要使用函数 rename_with()
<br />
<br />之前版本 dplyr 使用了一些列后缀名为 _if、_at、_all 的变体函数,这些函数当时也带来了一定的方便性,被广泛使用,虽然不会被弃用,但是现在已经被 across() 取代<br />
<a name="083b0453"></a>
为什么我们要使用 across()
- <br />
-
across()
函数可以很方便的同时对列进行多个操作
-
df %>%
group_by(g1, g2) %>%
summarise(
across(where(is.numeric), mean),
across(where(is.factor), nlevels),
n = n(),
)
- <br />
-
across()
函数减少了 dplyr 所需要提供的函数数目。使得 dplyr 用起来更加方便以及更加通俗易懂
-
- <br />
-
across()
整合了之前后缀为_if、_at
等函数的功能,使我们能够按照位置、列名、列数据类型来筛选数据
-
across(where(is.numeric) & starts_with("x"))
- <br />
-
across()
不需要vars()
函数,_at()
函数是 dplyr 中唯一必须手动引用变量名的地方。
-
<a name="596b5780"></a>
怎么转换我们之前基于 _at、_if
等后缀的函数处理为 across()
- 去掉
_at、 _if、 _all
后缀 - 变为 across()
-
_if
系列则改为where()
-
_at()
系列则去掉vars
函数即可 -
_all()
系列则改为everything()
<br />
示例:
-
df %>% mutate_if(is.numeric, mean, na.rm = TRUE)
# ->
df %>% mutate(across(where(is.numeric), mean, na.rm = TRUE))
df %>% mutate_at(vars(c(x, starts_with("y"))), mean)
# ->
df %>% mutate(across(c(x, starts_with("y")), mean, na.rm = TRUE))
df %>% mutate_all(mean)
# ->
df %>% mutate(across(everything(), mean))
<a name="72a09696"></a>
以下情况可能不适用:
-
rename_*()
和select_*()
遵循不一样的规则,由于这已经是选择函数了,通常通过其他方法实现,而不是直接用across()
函数,比如使用rename_with()
- 之前,
filter()
函数与all_vars()
和any_vars()
连用,但是现在all_vars()
已经被across()
函数取代,但是并不是完全等价,我们可以自定义一些小函数
df <- tibble(x = c("a", "b"), y = c(1, 1), z = c(-1, 1))
# 筛选所有值都大于 0 的行
df %>% filter(across(where(is.numeric), ~ .x > 0))
# 筛选任意有一个值大于 0 的行
rowAny <- function(x) rowSums(x) > 0
df %>% filter(rowAny(across(where(is.numeric), ~ .x > 0)))
-
mutate()
中mutate_all
与across()
不大一样,前者只执行参数部分,后者执行的所有转换都将同时应用,across()
函数表示的是选择的所有列。
df <- tibble(x = 2, y = 4, z = 8)
df %>% mutate_all(~ .x / y)
# ->
# 所有的列都除以了 y 列的值,包括 y 本身
df %>% mutate(across(everything(), ~ .x / y))