windows上spark shell读取本地文件
2019-06-17 本文已影响6人
yimengtianya1
1、windows上spark shell读取本地文件时,需要在文件地址前加“file:///”
2、文本文件的后缀要有。
3、由于不知道默认读取位置,因此建议使用绝对路径。
如读取本地文件HelloSpark.txt:
scala> val lines = sc.textFile("file:///C:/spark-2.4.3-bin-hadoop2.7/data/testfile/HelloSpark.txt")
scala> val lines = sc.textFile("file:///C:/spark-2.4.3-bin-hadoop2.7/data/testfile/HelloSpark.txt")
lines: org.apache.spark.rdd.RDD[String] = file:///C:/spark-2.4.3-bin-hadoop2.7/data/testfile/HelloSpark.txt MapPartitionsRDD[15] at textFile at <console>:24
scala> lines.first()
res6: String = testfile
scala> lines.count()
res7: Long = 3