spark将dataframe追加到hive外部分区表
2019-05-23 本文已影响0人
达微
tpDF.repartition(tableEntity.settings.preWriteFileNum).write.mode(SaveMode.Append).parquet(tpPath)
sqlContext.sql(
s"ALTER TABLE ${table} ADD IF NOT EXISTS PARTITION (${partitionInfo}) LOCATION '${tpPath}'")
}
