elasticsearch

elasticsearch mapping

2019-02-14  本文已影响0人  Grey____

mapping是类似于数据库中的表结构定义,主要作用如下:

定义index下的字段名
定义字段类型,比如数值型、浮点型、布尔型等
定义倒排索引相关的设置,比如是否索引、记录position等


自定义mapping
示例

首先创建名为 my_index的索引并设置mapping

PUT my_index
{
  "mappings": {
    "doc": {
      "dynamic": false,  # false表示在写入文档时,如果写入字段不存在也不会报错。
      "properties": {
        "title": {
          "type": "text",
          "index": true, # index参数作用是控制当前字段是否被索引,默认为true,false表示不记录,即不可被搜索
          "null_value":"" # 这个参数的作用是当字段遇到null值的时候的处理策略,默认为null,即空值,此时es会忽略该值。可以通过这个参数设置某个字段的默认值
        },
        "name": {
          "type": "keyword"
        },
        "age": {
          "type": "integer"
        }
      }
    }
  }
}

然后写入一个文档:

PUT my_index/doc/1
{
  "title": "hello world",
  "desc": "this is book"
}

查询一下写入的文档:

GET my_index/doc/_search
{
  "query": {
    "match": {
      "title": "hello"
    }
  }
}

数据类型
核心数据类型

字符串型:text、keyword(不会分词)
数值型:long、integer、short、byte、double、float、half_float等
日期类型:date
布尔类型:boolean
二进制类型:binary
范围类型:integer_range、float_range、long_range、double_range、date_range

复杂数据类型

数组类型:array
对象类型:object
嵌套类型:nested object
地理位置数据类型:geo_point、geo_shape
专用类型:ip(记录ip地址)、completion(实现自动补全)、token_count(记录分词数)、murmur3(记录字符串hash值)

多字段特性

多字段特性(multi-fields),表示允许对同一字段采用不同的配置,比如分词。

常见例子是对人名实现拼音搜索,只需要在人名中新增一个字段pinyin即可。但是这种方式不是十分优雅,multi-fields可以在不改变整体结构的前提下,增加一个子字段

多字段.png
数据如何选型

text类型作用:分词,将大段的文字根据分词器切分成独立的词或者词组,以便全文检索。
适用:email内容、某产品的描述等需要分词全文检索的字段;
不适用:排序或聚合(Significant Terms 聚合例外)

字符串类型选型

keyword类型:无需分词、整段完整精确匹配。
适用于:email地址、住址、状态码、分类tags。

数值类型选型

long长整型:一个带符号的64位整数,最小值为 -263 ,最大值为 263 -1。
integer 整数:一个带符号的32位整数,最小值为 -231 ,最大值为 231 -1。
short 短整形:一个带符号的16位整数,最小值为-32,768,最大值为32,767。
byte 字节型:一个带符号的8位整数,最小值为-128,最大值为127。
double 双精度浮点型:双精度64位IEEE 754浮点数。
float 单精度浮点型:单精度32位IEEE 754浮点数。
half_float半精度浮点型:半精度16位IEEE 754浮点数。
scaled_float:由长度固定的缩放因子支持的浮点数。
以上,根据长度选型即可。

日期类型选型

{ “date”: “2015-01-01” }
{ “date”: “2015-01-01T12:10:30Z” }
{ “date”: 1420070400001 }
如上,日期类型或者时间戳类型。

参考模板:

“date”: { 
“type”: “date”, 
“format”: “yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis” 
}
布尔类型选型

布尔字段接受JSON true和false值,但也可以接受被解释为true或false的字符串和数字:
false值举例:
false,“false”,“off”,“no”,“0”,“”(空字符串),0,0.0
true值举例:
以上false示例的反面,一切非假值。

数组类型选型

在Elasticsearch中,没有专门的数组类型。
默认情况下,任何字段都可以包含零个或多个值,但是数组中的所有值必须是相同的数据类型。 例如:
字符串数组: [ “one”, “two” ]
整数数组:[1,2]
阵列数组:[1,[2,3]],相当于[1,2,3]
一系列对象数组:[{“name”:“Mary”,“age”:12},{“name”:“John”,“age”:10}]
可以理解为单类型扩展多个值的类型。
如果需要根据数组值进行查询操作,官网建议使用nested嵌套类型。

数组类型:没有明显的字段类型设置,任何一个字段的值,都可以被添加0个到多个,当类型一直含有多个值存储到ES中会自动转化成数组类型
对于数组类型的数据,是一个数组元素做一个数据单元,如果是分词的话也只是会依一个数组元素作为词源进行分词,不会是所有的数组元素整合到一起。
在查询的时候如果数组里面的元素有一个能够命中那么将视为命中,被召回。

nested嵌套类型

nested 嵌套类型是Object数据类型的特定版本,允许对象数组彼此独立地进行索引和查询。
一个例子,自然就明白了:

PUT my_index
{
    "mappings":{
        "my_type":{
            "properties":{
                "user":{
                    "type":"nested"
                }
            }
        }
    }
}

PUT my_index/my_type/1
{
    "group":"fans",
    "user":[
        {
            "first":"John",
            "last":"Smith"
        },
        {
            "first":"Alice",
            "last":"White"
        }
    ]
}


GET my_index/_search
{
    "query":{
        "nested":{
            "path":"user",
            "query":{
                "bool":{
                    "must":[
                        {
                            "match":{
                                "user.first":"Alice"
                            }
                        },
                        {
                            "match":{
                                "user.last":"Smith"
                            }
                        }
                    ]
                }
            }
        }
    }
}

能完成嵌套查询&检索,对于非一对一关系的字段适用。
在ElasticSearch内部,嵌套的文档(Nested Documents)被索引为很多独立的隐藏文档(separate documents),这些隐藏文档只能通过嵌套查询(Nested Query)访问。每一个嵌套的文档都是嵌套字段(文档数组)的一个元素。
嵌套文档的内部字段之间的关联被ElasticSearch引擎保留,而嵌套文档之间是相互独立的。
默认情况下,每个索引最多创建50个嵌套文档,可以通过索引设置选项:index.mapping.nested_fields.limit 修改默认的限制。

Elasticsearch万能Mapping模板
PUT testinfo_index

{
    "mappings":{
        "testinfo_type":{
            "properties":{
                "id":{
                    "type":"long"
                },
                "title":{
                    "type":"keyword"
                },
                "content":{
                    "analyzer":"ik_max_word",
                    "type":"text",
                    "fields":{
                        "keyword":{
                            "ignore_above":256,
                            "type":"keyword"
                        },
                        "available":{
                            "type":"boolean"
                        },
                        "review":{
                            "type":"nested",
                            "properties":{
                                "nickname":{
                                    "type":"text"
                                },
                                "text":{
                                    "type":"text"
                                },
                                "stars":{
                                    "type":"integer"
                                }
                            }
                        },
                        "publish_time":{
                            "type":"date",
                            "format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
                        },
                        "expected_attendees":{
                            "type":"integer_range"
                        },
                        "ip_addr":{
                            "type":"ip"
                        },
                        "suggest":{
                            "type":"completion"
                        }
                    }
                }
            }
        }
    }
}


作者:铭毅天下(公众号同名)
来源:CSDN
原文:https://blog.csdn.net/laoyang360/article/details/78396928
版权声明:本文为博主原创文章,转载请附上博文链接!

作者:lyzkks
来源:CSDN
原文:https://blog.csdn.net/sinat_35930259/article/details/80354732
版权声明:本文为博主原创文章,转载请附上博文链接!

上一篇下一篇

猜你喜欢

热点阅读