R 数据处理（十三）—— tidyr
1. 前言
在本节中，我们将介绍数据的整洁之道，以及 tidyverse 的核心包之一 tidyr。
它提供了一系列工具来帮助整理混乱的数据，也是我们本节的重点。
library(tidyverse)
2. 整洁数据
每份数据都可以有不同的表现方式。下面的例子中，我们以四种不同的方式来展示相同的数据。
每个数据都包括 country, year, population 和 cases 4 个变量，且具有相同的值，但是它们组织数据的方式是不一样的。
table1
#> # A tibble: 6 x 4
#> country year cases population
#> <chr> <int> <int> <int>
#> 1 Afghanistan 1999 745 19987071
#> 2 Afghanistan 2000 2666 20595360
#> 3 Brazil 1999 37737 172006362
#> 4 Brazil 2000 80488 174504898
#> 5 China 1999 212258 1272915272
#> 6 China 2000 213766 1280428583
table2
#> # A tibble: 12 x 4
#> country year type count
#> <chr> <int> <chr> <int>
#> 1 Afghanistan 1999 cases 745
#> 2 Afghanistan 1999 population 19987071
#> 3 Afghanistan 2000 cases 2666
#> 4 Afghanistan 2000 population 20595360
#> 5 Brazil 1999 cases 37737
#> 6 Brazil 1999 population 172006362
#> # … with 6 more rows
table3
#> # A tibble: 6 x 3
#> country year rate
#> * <chr> <int> <chr>
#> 1 Afghanistan 1999 745/19987071
#> 2 Afghanistan 2000 2666/20595360
#> 3 Brazil 1999 37737/172006362
#> 4 Brazil 2000 80488/174504898
#> 5 China 1999 212258/1272915272
#> 6 China 2000 213766/1280428583
# Spread across two tibbles
table4a # cases
#> # A tibble: 3 x 3
#> country `1999` `2000`
#> * <chr> <int> <int>
#> 1 Afghanistan 745 2666
#> 2 Brazil 37737 80488
#> 3 China 212258 213766
table4b # population
#> # A tibble: 3 x 3
#> country `1999` `2000`
#> * <chr> <int> <int>
#> 1 Afghanistan 19987071 20595360
#> 2 Brazil 172006362 174504898
#> 3 China 1272915272 1280428583
这些都是相同基础数据的表示形式，但它们并不都是易于使用的。
数据的整洁之道主要有下面三个相互关联的规则
- 每个变量必须要有自己的列
- 每个观察值必须在自己行中
- 每个值必须在自己的单元格内
下面的图片也展示了这三条规则
image.png
这三条规则是相互关联的，不可能只满足这三条规则中的两条。这种相互关系产生了一套更简单实用的说明
- 将每个数据集存为
tibble - 每个变量代表一列
在上面的示例中，只有 table1 是整齐的，每个变量表示为一列的形式
为什么要确保数据整洁呢？主要有以下两个优点
-
以一种一致的方式存储数据是有优势的，如果你的数据结构保持一致，则更容易学习和使用这些工具函数
-
在每个变量作为一列有一个优点，它能充分发挥
R的向量化特性。R大多数的内置函数都可以与值向量一起使用，这使得对数据的转换显得特别自然
dplyr、ggplot2 和 tidyverse 中所有的其他包都被设计用于处理整洁的数据。下面是几个小示例，展示如何使用 table1
> table1 %>%
+ mutate(rate = cases / population * 10000)
# A tibble: 6 x 5
country year cases population rate
<chr> <dbl> <dbl> <dbl> <dbl>
1 Afghanistan 1999 745 19987071 0.373
2 Afghanistan 2000 2666 20595360 1.29
3 Brazil 1999 37737 172006362 2.19
4 Brazil 2000 80488 174504898 4.61
5 China 1999 212258 1272915272 1.67
6 China 2000 213766 1280428583 1.67
> table1 %>%
+ count(year, wt = cases)
# A tibble: 2 x 2
year n
<dbl> <dbl>
1 1999 250740
2 2000 296920
> ggplot(table1, aes(year, cases)) +
+ geom_line(aes(group = country), colour = "grey50") +
+ geom_point(aes(colour = country))
image
2.1 思考练习
- 计算
table2和table4a + table4b的比率rate，你可能需要执行下面4个操作
- 提取每个国家每年的结核病病例数
- 提取每个国家/地区每年匹配人口数
- 将病例数除以人口数，再乘以
10000 - 然后将比率放在适合的位置上
哪种表示法最容易使用?最难的是哪一个?为什么?
- 使用
table2代替table1重新创建病例随时间变化的图。您首先需要做什么？
3. 透视表
通常在真实的分析中，我们遇到的数据都需要进一步进行一些整理。
第一步需要弄清楚变量和观察值是什么，有时候这很容易，但是有时可能需要询问数据提供者
第二步需要解决下面两个常见问题：
- 一个变量可能分布在多个列上
- 一种观察值可能分散在多行中
要解决这些问题，您可以使用 tidyr 提供的两个最重要的函数：pivot_longer() 和 pivot_wider()。
3.1 Longer
一个常见的问题是，数据集中的列名不是变量名而是变量的值
比如说表 table4a，它的列名 1999 和 2000 代表的是年份变量的值，而这两列的值表示的是对应年份的 cases 变量的数值，而且每行是两个变量的值，而不是一个。
> table4a
# A tibble: 3 x 3
country `1999` `2000`
<chr> <dbl> <dbl>
1 Afghanistan 745 2666
2 Brazil 37737 80488
3 China 212258 213766
要整理这样的数据集，我们需要将有问题的列透视到一对新的变量中。
为了描述该操作，我们需要三个参数：
- 列名是值而不是变量，在本例中，是
1999和2000列 - 要将列名移至的变量名，在这里是
year - 要将列的值移动到的变量名称。在这里是
cases
将这些参数传递到 pivot_longer() 函数中
> table4a %>%
+ pivot_longer(c(`1999`, `2000`), names_to = "year", values_to = "cases")
# A tibble: 6 x 3
country year cases
<chr> <chr> <dbl>
1 Afghanistan 1999 745
2 Afghanistan 2000 2666
3 Brazil 1999 37737
4 Brazil 2000 80488
5 China 1999 212258
6 China 2000 213766
列名可以使用 dplyr::select() 样式表示法指定。但是这里只有两列，因此将它们单独列出
注意，1999 和 2000 是非语法名称（因为它们不是以字母开头），所以我们必须用反勾号将它们括起来
因为 table4a 中不存在 year 和 cases 列名，因此我们将其名称用引号引起来。
image.png
在最后的结果中，我们得到了两个新的列并删除了原来需要透视的两列。
pivot_longer() 通过增加行数和减少列数使数据集变长，当然这里说的长主要是相对原来的数据而言的。
我们可以使用 pivot_longer() 以类似的方式整理 table4b，唯一的区别是存储在单元格中的变量值
> table4b %>%
+ pivot_longer(c(`1999`, `2000`), names_to = "year", values_to = "population")
# A tibble: 6 x 3
country year population
<chr> <chr> <int>
1 Afghanistan 1999 19987071
2 Afghanistan 2000 20595360
3 Brazil 1999 172006362
4 Brazil 2000 174504898
5 China 1999 1272915272
6 China 2000 1280428583
要将整理后的 table4a 和 table4b 合并到一个 tible 中，我们可以使用 dplyr::left_join() 进行连接
> tidy4a <- table4a %>%
+ pivot_longer(c(`1999`, `2000`), names_to = "year", values_to = "cases")
> tidy4b <- table4b %>%
+ pivot_longer(c(`1999`, `2000`), names_to = "year", values_to = "population")
> left_join(tidy4a, tidy4b)
Joining, by = c("country", "year")
# A tibble: 6 x 4
country year cases population
<chr> <chr> <dbl> <int>
1 Afghanistan 1999 745 19987071
2 Afghanistan 2000 2666 20595360
3 Brazil 1999 37737 172006362
4 Brazil 2000 80488 174504898
5 China 1999 212258 1272915272
6 China 2000 213766 1280428583
3.2 Wider
pivot_wilder() 与 pivot_longer() 相反，当观察值分散在多行中时，可以使用它。
例如，在 table2 中 type 观察值观察值分布在国家和年份的两行中
> table2
# A tibble: 12 x 4
country year type count
<chr> <int> <chr> <int>
1 Afghanistan 1999 cases 745
2 Afghanistan 1999 population 19987071
3 Afghanistan 2000 cases 2666
4 Afghanistan 2000 population 20595360
5 Brazil 1999 cases 37737
6 Brazil 1999 population 172006362
7 Brazil 2000 cases 80488
8 Brazil 2000 population 174504898
9 China 1999 cases 212258
10 China 1999 population 1272915272
11 China 2000 cases 213766
12 China 2000 population 1280428583
我们首先以类似于 pivot_longer() 的方式分析。不过，这次我们只需要两个参数
- 要从中获取变量名的列，在这里是
type - 要从中获取值的列，在这里是
count
一旦我们弄明白了这一点，我们就可以使用 pivot_wilder()
> table2 %>%
+ pivot_wider(names_from = type, values_from = count)
# A tibble: 6 x 4
country year cases population
<chr> <int> <int> <int>
1 Afghanistan 1999 745 19987071
2 Afghanistan 2000 2666 20595360
3 Brazil 1999 37737 172006362
4 Brazil 2000 80488 174504898
5 China 1999 212258 1272915272
6 China 2000 213766 1280428583
image.png
可能你已经从它们的名字中猜到了，pivot_wilder() 和 pivot_longer() 是互补的。
pivot_longer() 使宽表变窄和变长； pivot_wider() 使长表变短和变宽
3.3 思考练习
- 为什么
pivot_wilder()和pivot_longer()不完全对称？仔细思考下面的例子。
stocks <- tibble(
year = c(2015, 2015, 2016, 2016),
half = c( 1, 2, 1, 2),
return = c(1.88, 0.59, 0.92, 0.17)
)
stocks %>%
pivot_wider(names_from = year, values_from = return) %>%
pivot_longer(`2015`:`2016`, names_to = "year", values_to = "return")
提示：注意变量类型并考虑列名
pivot_longer() 有一个 names_ptypes 参数，例如 names_ptypes=list(year=double)。它的作用是什么？
- 为什么下面的代码是错的？
> table4a %>%
+ pivot_longer(c(1999, 2000), names_to = "year", values_to = "cases")
错误: Can't subset columns that don't exist.
x Locations 1999 and 2000 don't exist.
ℹ There are only 3 columns.
Run `rlang::last_error()` to see where the error occurred.
- 如果你要加宽表会发生什么？为什么？您如何添加新列来唯一标识每个值？
people <- tribble(
~name, ~names, ~values,
#-----------------|--------|------
"Phillip Woods", "age", 45,
"Phillip Woods", "height", 186,
"Phillip Woods", "age", 50,
"Jessica Cordero", "age", 37,
"Jessica Cordero", "height", 156
)
- 整理下面的简单表。你需要将表变宽还是变长？变量要设置成什么？
preg <- tribble(
~pregnant, ~male, ~female,
"yes", NA, 10,
"no", 20, 12
)
