spark dataframe

项目最近打算上spark，需求是在客户的一张大表里头做多行检查，比如说字段组合的值必须是唯一的，或者是简单的单行检查，需求比较明确，我们只是想借用spark的编程模型，然后组合rdd就这么简单，不知道这样做有什么问题