R数据科学（九）使用dplyr处理关系数据

9.1　简介
三类连接：
• 合并连接：向数据框中加入新变量，新变量的值是另一个数据框中的匹配观测。
• 筛选连接：根据是否匹配另一个数据框中的观测，筛选数据框中的观测。
• 集合操作：将观测作为集合元素来处理。

library(tidyverse)
library(nycflights13) #包括的数据：
#airlines：可以根据航空公司的缩写码查到公司全名。
#airports：给出了每个机场的信息，通过 faa 机场编码进行标识。
#planes：给出了每架飞机的信息，通过 tailnum 进行标识。
 #weather：给出了纽约机场每小时的天气状况。

9.3　键
用于连接每对数据表的变量称为键。键是能唯一标识观测的变量（或变量集合）。
• 主键：唯一标识其所在数据表中的观测。例如， planestailnum 是一个外键，因为其
出现在 flights 表中，并可以将每次航班与唯一一架飞机匹配。

# 对主键进行 count() 操作，然后查看是否有 n 大于 1 的记录，即查看是否唯一值
planes %>%
count(tailnum) %>%
filter(n > 1)

weather %>%
count(year, month, day, hour, origin) %>%
filter(n > 1)

#flights 表中的主键是什么？
flights %>%
count(year, month, day, flight) %>%
filter(n > 1)

flights %>%
count(year, month, day, tailnum) %>%
filter(n > 1)

如果一张表没有主键，有时就需要使用 mutate() 函数和 row_number() 函数为表加上一个主键。这样一来，
如果你完成了一些筛选工作，并想要使用原始数据检查的话，就可以更容易地匹配观测。
这种主键称为代理键。

练习
(1) 向 flights 添加一个代理键

flights %>%
  arrange(year, month, day, sched_dep_time, carrier, flight) %>%
  mutate(flight_id = row_number()) %>%
  glimpse()

9.4　合并连接

# 建立简化数据集
flights2 <- flights %>%
select(year:day, hour, origin, dest, tailnum, carrier)
flights2
head(airlines)
flights2 %>%
select(-origin, -dest) %>% 
  left_join(airlines,by='carrier')

9.4.2　内连接
x %>%
inner_join(y, by = "key")

9.4.3　外连接
内连接保留同时存在于两个表中的观测， 外连接则保留至少存在于一个表中的观测。外连
接有 3 种类型。
• 左连接：保留 x 中的所有观测。
• 右连接：保留 y 中的所有观测
• 全连接：保留 x 和 y 中的所有观测。

最常用的连接是左连接：只要想从另一张表中添加数据，就可以使用左连接，因为它会保
留原表中的所有观测，即使它没有匹配。左连接应该是你的默认选择，除非有足够充分的
理由选择其他的连接方式。

9.4.4　重复键

# 当连接这样的重复键时，你会得到所有可能的组合
x <- tribble(
~key, ~val_x,
1, "x1",
2, "x2",
2, "x3",
1, "x4"
)
y <- tribble(
~key, ~val_y,
1, "y1",
2, "y2"
)
left_join(x, y, by = "key")

9.4.5　定义键列
默认值 by = NULL。这会使用存在于两个表中的所有变量，即共同的变量，这种方式称为自然连接。

head(flights2)
head(weather)
flights2 %>%
left_join(weather)

字符向量 by = "x"。这种方式与自然连接很相似，但只使用某些公共变量。

flights2 %>%
left_join(planes, by = "tailnum")

命名字符向量 by = c("a" = "b")。这种方式会匹配 x 表中的 a 变量和 y 表中的 b 变量。输出结果中使用的是 x 表中的变量。

head(flights2)
head(airports)
flights2 %>%
left_join(airports, c("dest" = "faa")) %>% glimpse()

flights2 %>%
left_join(airports, c("origin" = "faa")) %>% glimpse()

9.4.6　练习
(1) 计算出每个目的地的平均延误时间，然后与 airports 数据框连接，从而展示出延误的
空间分布。以下是画出美国地图的一种简单方法。

airports %>%
semi_join(flights, c("faa" = "dest")) %>%
ggplot(aes(lon, lat)) +
borders("state") +
geom_point() +
coord_quickmap()

avg_dest_delays <-
  flights %>%
  group_by(dest) %>%
  # arrival delay NA's are cancelled flights
  summarise(delay = mean(arr_delay, na.rm = TRUE)) %>%
  inner_join(airports, by = c(dest = "faa"))

avg_dest_delays %>%
  ggplot(aes(lon, lat, colour = delay)) +
    borders("state") +
    geom_point() +
    coord_quickmap()

(2)将起点机场和终点机场的位置信息（即 lat 和 lon）添加到 flights 中。

airport_locations <- airports %>% select(faa,lat,lon)
str(flights)

flights %>% select(year:day, hour, origin, dest) %>% left_join(airport_location,by=c("origin" = "faa")) %>% left_join(
    airport_locations,
    by = c("dest" = "faa")
  )

(3)飞机的机龄和延误时间有关系吗？

str(planes)
plane_ages <-
  planes %>%
  mutate(age = 2018 - year) %>%
  select(tailnum, age)

flights %>%
  inner_join(plane_ages, by = "tailnum") %>%
  group_by(age) %>%
  filter(!is.na(dep_delay)) %>%
  summarise(delay = mean(dep_delay)) %>%
  ggplot(aes(x = age, y = delay)) +
  geom_point() +
  geom_line()

(4)什么样的天气状况更容易出现延误？

str(weather)
flight_weather <-
  flights %>%
  inner_join(weather, by = c("origin" = "origin",
                            "year" = "year",
                            "month" = "month",
                            "day" = "day",
                            "hour" = "hour"))

flight_weather %>%
  group_by(precip) %>%
  summarise(delay = mean(dep_delay, na.rm = TRUE)) %>%
  ggplot(aes(x = precip, y = delay)) +
    geom_line() + geom_point()

(5) 2013 年 6 月 13 日发生了什么情况？展示出这天延误时间的空间模式，并使用 Google 说
明一下这天的天气状况。

library(viridis)
flights %>%
  filter(year == 2013, month == 6, day == 13) %>%
  group_by(dest) %>%
  summarise(delay = mean(arr_delay, na.rm = TRUE)) %>%
  inner_join(airports, by = c("dest" = "faa")) %>%
  ggplot(aes(y = lat, x = lon, size = delay, colour = delay)) +
  borders("state") +
  geom_point() +
  coord_quickmap() +
  scale_colour_viridis()

base::merge() 函数可以实现所有 4 种合并连接操作。
inner_join(x, y) merge(x, y)
left_join(x, y) merge(x, y, all.x = TRUE)
right_join(x, y) merge(x, y, all.y = TRUE)
full_join(x, y) merge(x, y, all.x = TRUE, all.y = TRUE)

9.5　筛选连接
• semi_join(x, y)： 保留 x 表中与 y 表中的观测相匹配的所有观测。
• anti_join(x, y)： 丢弃 x 表中与 y 表中的观测相匹配的所有观测。

top_dest <- flights %>%
count(dest, sort = TRUE) %>%
head(10)
top_dest
# 筛选出前10个
flights %>%
filter(dest %in% top_dest$dest)
# 半连接，只保留两个数据框都有的行的数据
flights %>%
semi_join(top_dest)

# 反连接保留 x 表中那些没有匹配 y 表的行。
# 反连接可以用于诊断连接中的不匹配。例如，在连接 flights 和 planes 时，你可能想知道flights 中是否有很多行在 planes 中没有匹配记录：
flights %>%
anti_join(planes, by = "tailnum") %>%
count(tailnum, sort = TRUE)

练习
(1) 如果一条航班信息的 tailnum 是缺失值，这说明什么？如果机尾编号在 planes 中没有
匹配的记录，一般是什么情况？（提示：有一个变量可以解释约 90% 的这种情况。）

flights %>%
  anti_join(planes, by = "tailnum") %>%
  count(carrier, sort = TRUE)

(2) 对航班信息进行筛选，只保留至少有 100 次飞行记录的飞机的航班信息。

planes_gt100 <-
  filter(flights) %>%
  group_by(tailnum) %>%
  count() %>%
  filter(n > 100)

flights %>%
  semi_join(planes_gt100, by = "tailnum")

(3) 使用 fueleconomy::vehicles 和 fueleconomy::common 找出那些用于最常用模型的记录。

glimpse(fueleconomy::vehicles)
glimpse(fueleconomy::common)
fueleconomy::vehicles %>%
  semi_join(fueleconomy::common, by = c("make", "model"))

(4) 找出这一整年中航班延误最严重的 48 小时。与 weather 数据互相参照，你能找出某种
模式吗？

flights %>%
  group_by(year, month, day) %>%
  summarise(total_24 = sum(dep_delay, na.rm = TRUE) + sum(arr_delay, na.rm = TRUE)) %>%
  mutate(total_48 = total_24 + lag(total_24)) %>%
  arrange(desc(total_48))

(5) 你能说出 anti_join(flights, airports, by = c("dest" = "faa")) 这条语句的意义吗？
anti_join(airports, flights, by = c("faa" = "dest")) 这条语句的意义呢？

(6) 或许你认为飞机和航空公司之间存在着某种隐含关系，因为每架飞机都属于一个航空公
司。使用你在前面章节中学到的工具来确认或否定这个假设。

str(flights)

multi_carrier_planes <-
  flights %>%
  filter(!is.na(tailnum)) %>%
  count(tailnum, carrier) %>%
  count(tailnum) %>%
  filter(nn > 1)
multi_carrier_planes

multi_carrier_planes <-
  flights %>%
  semi_join(multi_carrier_planes, by = "tailnum") %>%
  select(tailnum, carrier) %>%
  distinct() %>%
  arrange(tailnum)
multi_carrier_planes

carrier_transfer_tbl <-
  multi_carrier_planes %>%
  group_by(tailnum) %>%
  mutate(
    carrier_num = seq_along(tailnum),
    carrier_num = paste0("carrier_", carrier_num)
  ) %>%
  left_join(airlines, by = "carrier") %>%
  select(-carrier) %>%
  spread(carrier_num, name)
carrier_transfer_tbl

9.7　集合操作
所有集合操作都是作用于整行的，比较的是每个变量的值。集合操作需要 x 和 y 具有相同的变量，并将观测按照集合来处理。
intersect(x, y)
返回既在 x 表，又在 y 表中的观测。
union(x, y)
返回 x 表或 y 表中的唯一观测。
setdiff(x, y)
返回在 x 表，但不在 y 表中的观测。

df1 <- tribble(
~x, ~y,
1, 1,
2, 1
)
df2 <- tribble(
~x, ~y,
1, 1,
1, 2
)
df1
df2
intersect(df1,df2)
union(df1,df2)
setdiff(df1,df2)