spark使用addFile

addFile

addFile可以把文件分发到各个worker当中，然后worker会把文件存放在临时目录下。之后可以通过SparkFiles.get()获取文件

代码

from pyspark import SparkFiles
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder\
    .master("local")\
    .appName("cal person")\
    .getOrCreate()
# 添加文件
spark.sparkContext.addFile("./dict/load_dict.txt")
# 获取文件
with open(SparkFiles.get("load_dict.txt"), "r") as f:
    print(f.read())