官方文档-7.10版本新特性

2021-01-08  本文已影响0人  caster

JDK8还没有非常熟悉，JDK版本已经到16了，es也一样，更新速度远远超过了预期……毛主席说的对啊，三天不学习，赶不上刘少奇。
另es，kibana开源协议已从apache改为SSPL，限制企业通过魔改开源软件盈利而不回馈社区的行为。

对应7.10官放文档路径：What’s new in 7.10
官方地址如下：
https://www.elastic.co/guide/en/elasticsearch/reference/7.10/release-highlights.html
注：为了便于全局理解，部分新特性整合并涵盖7.9及以前版本的内容

1. 索引速度加快

es7.10将索引速度提升了20%。我们减少了写translog日志所需的协调流程，这使并发性大大提高，并且translog的缓存从8KB提升到了1MB。但是全文检索和其他分词密集型用例收益较低，索引链越复杂收益越低，所以多字段，ingest pipeline和full-text 场景获取收益较低。

2. 节省索引空间占用

es7.10基于lucene8.7，lucene8.7提升了对存储字段的压缩率，尤其是_source部分的压缩率，我们测试了benchmark提供的各种数据集，空间使用率减少了0%~10%。此更改特别适用于在文档之间具有大量冗余数据的数据集，例如观测类数据集中每个文档中都有含有的host环境等信息。

3. Data tiers

es7.10引入了形式化数据层概念，Data tiers是一种简单的集成方法，使用户可以控制优化成本，性能和数据的广度/深度。在此形式化之前，许多用户使用自定义节点属性以及使用ILM来管理集群中数据的生命周期和存储位置实现数据分层拓扑。
通过这种形式化方式，数据节点可以明确通过其角色进行数据层(content, hot, warm, and cold)的划分。索引也可以通过使用索引级别数据层分配过滤进行分配到特定数据层。当索引到达生命周期的各个阶段时，ILM将利用数据层在节点之间自动迁移数据。
data stream所创建的索引将被自动分配到data_hot数据层，独立创建的索引将被自动分配到data_content数据层，标记为data角色的索引将被认为是全部层的一部分。

4. 用于分类分析的AUC ROC评估指标

机器学习相关的内容，还没学到，抱歉。

5. data frame分析中的自定义功能处理器

机器学习相关的内容，还没学到，抱歉。

6. 索引时间点(PITs)

在7.10版本中，我们引入时间点(PITs)概念，这是一种在搜索过程中保留索引状态的轻量级方法。PITs通过使UIs更具反应性来改善用户体验。
默认情况下，查询请求等待得到完整的结果后才返回回复。例如，只有在同时计算出top hits和agg后才会返回回复的查询请求。但是agg通常比top hits慢。所以可以发送两个单独的请求而不是发送合并的请求：一个用于top hits，另一个用于agg。通过单独的搜索请求，UI可以在top hits匹配项出现后立即显示它们，并在较慢的agg请求完成后显示agg数据。你可以使用PIT确保两个搜索请求都在相同的数据和索引状态下运行。
具体使用方法参见：Point in time API

7. 协调节点上的请求级别断路器

现在，您可以使用协调节点来处理用于在请求断路器中执行部分和最终减少聚合的内存。搜索协调器添加了用于保存和减少请求断路器中的分片聚合结果的内存。在进行任何部分或最终减少之前，将估计减少聚合所需的内存，如果超出此断路器允许的最大内存，则抛出CircuitBreakingException。
估计此大小约为需要减少的序列化聚合大小的1.5倍。对于某些聚合，此估计可能是完全不正确的，但在精简完成后，将使用实际大小对其进行校正。如果缩减成功，我们将更新断路器以删除源聚合的大小，并将估算值替换为新缩减结果的序列化大小。

8. EQL(7.9中新内容)

在7.10中，EQL默认将大多数运算符和函数进行了大小写区分。并且添加了不区分大小写的运算符:,你可以使用:搜索Windows事件日志或者其他事件数据中包含大小写混合的字符串。语法如下：

GET /my-index-000001/_eql/search
{
  "query": """
    process where process.executable : "c:\\\\windows\\\\system32\\\\cmd.exe"
  """
}

EQL简介

EQL(事件查询语言)是一种声明性语言，专用于识别事件之间的模式和关系。
以下情况可以考虑使用EQL：

这篇博客文章中提供了有关EQL及其目的详细介绍 。有关详细说明和语言参考，请参见Elasticsearch文档中的EQL单元。
7.9版本包括以下功能：

9. 系统级别索引的REST API标记为弃用

我们弃用了系统索引的REST API。大部分尝试访问系统索引的REST API请求都将返回以下弃用警告：

this request accesses system indices: [.system_index_name], but in a future
major version, direct access to system indices will be prevented by default

以下REST API将访问系统索引作为其实现的一部分，并且不会返回弃用警告：

我们还添加了一个元数据标记用来标记索引。将在升级期间自动将此标记添加到任何现有系统索引中。

10. 系统级别索引的新线程池

我们为系统索引提供了两个新的线程池：system_read和system_write。这些线程池可确保对Elastic Stack至关重要的系统索引（例如安全性或Kibana所使用的索引）在集群承受较高的查询或索引负载时保持响应能力。
system_read(system_write)是fixed类型的thread_pool，用于管理系统索引的读(写)资源。两者的最大线程数为5或可用处理器的一半中的较小者。

上一篇下一篇

猜你喜欢

热点阅读