elasticsearch mapping
mapping是类似于数据库中的表结构定义,主要作用如下:
定义index下的字段名
定义字段类型,比如数值型、浮点型、布尔型等
定义倒排索引相关的设置,比如是否索引、记录position等
自定义mapping
示例
首先创建名为 my_index的索引并设置mapping
PUT my_index
{
"mappings": {
"doc": {
"dynamic": false, # false表示在写入文档时,如果写入字段不存在也不会报错。
"properties": {
"title": {
"type": "text",
"index": true, # index参数作用是控制当前字段是否被索引,默认为true,false表示不记录,即不可被搜索
"null_value":"" # 这个参数的作用是当字段遇到null值的时候的处理策略,默认为null,即空值,此时es会忽略该值。可以通过这个参数设置某个字段的默认值
},
"name": {
"type": "keyword"
},
"age": {
"type": "integer"
}
}
}
}
}
然后写入一个文档:
PUT my_index/doc/1
{
"title": "hello world",
"desc": "this is book"
}
查询一下写入的文档:
GET my_index/doc/_search
{
"query": {
"match": {
"title": "hello"
}
}
}
数据类型
核心数据类型
字符串型:text、keyword(不会分词)
数值型:long、integer、short、byte、double、float、half_float等
日期类型:date
布尔类型:boolean
二进制类型:binary
范围类型:integer_range、float_range、long_range、double_range、date_range
复杂数据类型
数组类型:array
对象类型:object
嵌套类型:nested object
地理位置数据类型:geo_point、geo_shape
专用类型:ip(记录ip地址)、completion(实现自动补全)、token_count(记录分词数)、murmur3(记录字符串hash值)
多字段特性
多字段特性(multi-fields),表示允许对同一字段采用不同的配置,比如分词。
常见例子是对人名实现拼音搜索,只需要在人名中新增一个字段pinyin即可。但是这种方式不是十分优雅,multi-fields可以在不改变整体结构的前提下,增加一个子字段
多字段.png数据如何选型
text类型作用:分词,将大段的文字根据分词器切分成独立的词或者词组,以便全文检索。
适用:email内容、某产品的描述等需要分词全文检索的字段;
不适用:排序或聚合(Significant Terms 聚合例外)
字符串类型选型
keyword类型:无需分词、整段完整精确匹配。
适用于:email地址、住址、状态码、分类tags。
数值类型选型
long长整型:一个带符号的64位整数,最小值为 -263 ,最大值为 263 -1。
integer 整数:一个带符号的32位整数,最小值为 -231 ,最大值为 231 -1。
short 短整形:一个带符号的16位整数,最小值为-32,768,最大值为32,767。
byte 字节型:一个带符号的8位整数,最小值为-128,最大值为127。
double 双精度浮点型:双精度64位IEEE 754浮点数。
float 单精度浮点型:单精度32位IEEE 754浮点数。
half_float半精度浮点型:半精度16位IEEE 754浮点数。
scaled_float:由长度固定的缩放因子支持的浮点数。
以上,根据长度选型即可。
日期类型选型
{ “date”: “2015-01-01” }
{ “date”: “2015-01-01T12:10:30Z” }
{ “date”: 1420070400001 }
如上,日期类型或者时间戳类型。
参考模板:
“date”: {
“type”: “date”,
“format”: “yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis”
}
布尔类型选型
布尔字段接受JSON true和false值,但也可以接受被解释为true或false的字符串和数字:
false值举例:
false,“false”,“off”,“no”,“0”,“”(空字符串),0,0.0
true值举例:
以上false示例的反面,一切非假值。
数组类型选型
在Elasticsearch中,没有专门的数组类型。
默认情况下,任何字段都可以包含零个或多个值,但是数组中的所有值必须是相同的数据类型。 例如:
字符串数组: [ “one”, “two” ]
整数数组:[1,2]
阵列数组:[1,[2,3]],相当于[1,2,3]
一系列对象数组:[{“name”:“Mary”,“age”:12},{“name”:“John”,“age”:10}]
可以理解为单类型扩展多个值的类型。
如果需要根据数组值进行查询操作,官网建议使用nested嵌套类型。
数组类型:没有明显的字段类型设置,任何一个字段的值,都可以被添加0个到多个,当类型一直含有多个值存储到ES中会自动转化成数组类型
对于数组类型的数据,是一个数组元素做一个数据单元,如果是分词的话也只是会依一个数组元素作为词源进行分词,不会是所有的数组元素整合到一起。
在查询的时候如果数组里面的元素有一个能够命中那么将视为命中,被召回。
nested嵌套类型
nested 嵌套类型是Object数据类型的特定版本,允许对象数组彼此独立地进行索引和查询。
一个例子,自然就明白了:
PUT my_index
{
"mappings":{
"my_type":{
"properties":{
"user":{
"type":"nested"
}
}
}
}
}
PUT my_index/my_type/1
{
"group":"fans",
"user":[
{
"first":"John",
"last":"Smith"
},
{
"first":"Alice",
"last":"White"
}
]
}
GET my_index/_search
{
"query":{
"nested":{
"path":"user",
"query":{
"bool":{
"must":[
{
"match":{
"user.first":"Alice"
}
},
{
"match":{
"user.last":"Smith"
}
}
]
}
}
}
}
}
能完成嵌套查询&检索,对于非一对一关系的字段适用。
在ElasticSearch内部,嵌套的文档(Nested Documents)被索引为很多独立的隐藏文档(separate documents),这些隐藏文档只能通过嵌套查询(Nested Query)访问。每一个嵌套的文档都是嵌套字段(文档数组)的一个元素。
嵌套文档的内部字段之间的关联被ElasticSearch引擎保留,而嵌套文档之间是相互独立的。
默认情况下,每个索引最多创建50个嵌套文档,可以通过索引设置选项:index.mapping.nested_fields.limit 修改默认的限制。
Elasticsearch万能Mapping模板
PUT testinfo_index
{
"mappings":{
"testinfo_type":{
"properties":{
"id":{
"type":"long"
},
"title":{
"type":"keyword"
},
"content":{
"analyzer":"ik_max_word",
"type":"text",
"fields":{
"keyword":{
"ignore_above":256,
"type":"keyword"
},
"available":{
"type":"boolean"
},
"review":{
"type":"nested",
"properties":{
"nickname":{
"type":"text"
},
"text":{
"type":"text"
},
"stars":{
"type":"integer"
}
}
},
"publish_time":{
"type":"date",
"format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
},
"expected_attendees":{
"type":"integer_range"
},
"ip_addr":{
"type":"ip"
},
"suggest":{
"type":"completion"
}
}
}
}
}
}
}
作者:铭毅天下(公众号同名)
来源:CSDN
原文:https://blog.csdn.net/laoyang360/article/details/78396928
版权声明:本文为博主原创文章,转载请附上博文链接!
作者:lyzkks
来源:CSDN
原文:https://blog.csdn.net/sinat_35930259/article/details/80354732
版权声明:本文为博主原创文章,转载请附上博文链接!