R 联合SQLite数据库和Spark分析大数据集
SQLite 数据库使用
1.下载SQLite数据库，并配置环境变量，或者再下载个SQLiteStudio进行编辑管理；
2.打开powershell或者cmd，运行命令行sqlite.exe，进入SQLite；
3.可以利用SQLite语句进行新建数据库和表格，进行数据操作和转换。
R里面安装DBI包，连接SQLite数据库，进行操作
library(DBI)
con <- dbConnect(RSQLite::SQLite(), ":memory:")#新建位于内存中的连接，生成的数据都会储存再内存中,或者：
con <- dbConnect(RSQLite::SQLite(),"./test.db")#新建本地数据库或读取本地数据库
R安装sparkly包，创建spark连接
library(sparklyr)
library(dplyr)#用于数据分析
sc <- spark_connect(master = "local")
大数据集分析步骤
1.利用R生成后者下载数据
dbWriteTable(con_b, "mtcars", mtcars, overwrite = TRUE)#将mtcars数据集写入名叫mtcars的表格中，并存入sqlite数据库db文件中,一般一个db文件最多可以存储1TB数据
2.利用SQLite命令语句将表格数据存为csv文件
sqlite.exe test.db --打开本地数据库文件或者已经存储了数据的数据库文件
.tables ---查看test.db数据库文件里有哪些表格
.header on --显示表头
.mode.csv --设置输出文件格式
.output test.csv --输出文件名
.select * from test --选择输出的内容
.quit --退出sqlite
注：--后面是注释内容
3.利用spark_read_csv()读取csv大文件，注意文件必须as.data.frame()后才能读取
