Elasticsearch7.X的SQL access实现

前言

elasticsearch7.X出来也有一段时间了，正好这次让我给项目中的elasticsearch升级版本，就去了解了一下我需要升级的这块东西。

安装

docker pull elasticsearch:7.7.0
docker run --name elasticsearch -d -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 elasticsearch:7.7.0
看到这个就说明装好了

image.png

可以参考docker部署运行ES

SQL access

sql rest api

这次升级也主要是升级这里，系统之前支持通过sql查询elasticsearch，之前系统使用的是elasticsearch_sql来把用户输入的sql转换为elasticsearch的query dsl语句去查询。
可以先去看看官方文档
我们在新版本中弃用es-sql的包，直接使用新版本的sql rest aqi。在项目中引入es的包，通过它给的api去调用es的接口就行了。直接上代码测试
先在es中添加测试数据，可以用postman调用es的rest接口
http://127.0.0.1:9200/_index/_type/_id，如果id存在则是更新

image.png 测试数据

测试

在代码里我通过restTemplate去请求，来试试简单的查询吧

        String elasticsearchAddress = "http://172.19.5.57:9200/_sql?format=json";
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("query","select name,age from jianshu group by name,age ");
        JSONObject  results = restTemplate.postForObject(elasticsearchAddress,jsonObject,JSONObject.class);
        if (jsonObject.get("cursor") == null){
            JSONArray columns = results.getJSONArray("columns");
            List<Column> columnList = JSONArray.parseArray(columns.toJSONString(),Column.class);
            JSONArray values = results.getJSONArray("rows");
            System.out.println("results:" + results);
            List<JSONObject> res = JSONArray.parseArray(JSONObject.toJSONString(values),JSONArray.class).stream()
                    .map(p -> {
                        JSONObject user = new JSONObject();
                        for (int i = 0; i< columnList.size(); i++){
                            user.fluentPut(columnList.get(i).getName(),p.get(i));
                        }
                        return user;
                    }).collect(Collectors.toList());
            System.out.println("res:" + res);
        } else {
            System.out.println(results);
        }
//打印结果
results:{"cursor":"k8OvAwFaAWMBB2ppYW5zaHWYAQEBCWNvbXBvc2l0ZQdncm91cGJ5AAD/AgAHY2ZjYTZmYQEMbmFtZS5rZXl3b3JkAAABAAAACDFhMmY5MTA2AQthZ2Uua2V5d29yZAAAAQAA6AcBCgIHY2ZjYTZmYQAC566A5LmmCDFhMmY5MTA2AAIxMAACAQAAAAABAP////8PAAAAAAAAAAAAAAAAAVoDAAICAAAAAAAA/////w8CAWsHY2ZjYTZmYQAAAWsIMWEyZjkxMDYAAAEDAA==","columns":[{"name":"name","type":"text"},{"name":"age","type":"text"}],"rows":[["简书","10"]]}
res:[{"name":"简书","age":"10"}]

@Data
public class Column {

    private String name;

    private String type;
}

从返回结果来看，由于es节约性能。是把行列分开返回的（从官方文档也可以看出来）。所以我们拿到结果后转成我们常见的key，value的形式。

一个小插曲

在正式环境上我处理列数据时

List<String> columnList = JSONObject.parseArray(results.getString("columns"))
                .stream()
                .map(p -> ((JSONObject) p).getString("name"))
                .collect(Collectors.toList());

得到的结果是正确的

image.png

但是我在测试代码上那样获取列数据时是这样的，返回来的结果都是一样的，可能是我哪个包的版本不一致。后面再检查下。

image.png

cursor

从结果看还有另外一个返回值cusor，从官网文档上看到用于大数据的查询（也就是分页）,在我们使用分页时可以添加参数 jsonObject.put("fetch_size",5);
特别注意：在分页后，想要查询后面数据时，请求时参数只能有cursor这一个。并且返回来的数据不再有列数据，所以我们在正式使用时需要在分页查询第一次后把列数据保存下来。
如下面官网例子所示

image.png

SQL JDBC

最开始我就走偏了，用了这个，结果发现需要es的白金版会员才能使用，所以感觉没啥用，毕竟要花钱。简单实现了一下。

实现

使用jdbc需要先引入x-pack包

<dependency>
  <groupId>org.elasticsearch.plugin</groupId>
  <artifactId>x-pack-sql-jdbc</artifactId>
  <version>7.13.0</version>
</dependency>

然后就是关于es操作的service以及对应serviceImpl了，主要就是去实现ElasticsearchRepository以及父类的方法。

public interface UserService {

    public void saveUser(User user);

    public User findUser(Long id);
}

@Service
public class UserServiceImpl implements UserService {

    @Resource
    private UserRepository userRepository;

    @Override
    public void saveUser(User user) {
        userRepository.save(user);
    }

    @Override
    public User findUser(Long id) {
        return userRepository.findById(id).get();
    }
}

public interface UserRepository extends ElasticsearchRepository<User, Long> {
}

@Data
@Accessors(chain = true)
@Document(indexName = "jianshu", type = "author")
public class User implements Serializable {

    @Id
    private Long id;

    private String name;

    private String age;
}

实现类写好后，咱们就可以简单测试一下

@Test
    public void save() {
        userService.saveUser(new User()
                .setName("简书jdbc").setAge("11"));
    }

image.png

 @Test
    public void findById() {
        User byId = userService.findUser(1L);
        System.out.println(byId);
    }

image.png

这其中也是踩了一些坑的，不过具体久了忘记了.....欢迎留言讨论