[16]ES mapping 的设置规则
本文集主要是总结自己在项目中使用ES 的经验教训，包括各种实战和调优。
创建mapping的时候，_all设置为false。主要是从性能方面考虑。
包括mapping创建方式、mapping相关知识等。官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html#mapping-type
新增字段
curl -XPOST "http://127.0.0.1:9200/productindex/product/_mapping?pretty" -d '{ "product": { "properties": { "onSale":{ "type":"keyword" } } } }'
创建索引的同时创建setting和mapping：
curl -XPUT "192.168.1.101:9200/index_test" -d ' # 注意这里的'号
{
"settings": {
"index": {
"number_of_replicas": "1", # 设置复制数
"number_of_shards": "5" # 设置主分片数
}
},
"mappings": { # 创建mapping
"test_type": { # 在index中创建一个新的type(相当于table)
"properties": {
"name": { # 创建一个字段（string类型数据，使用普通索引）
"type": "string",
"index": "not_analyzed"
},
"age": {
"type": "integer"
}
}
}
}
}'
ES还可以使用json的方式来创建mapping：
- 创建一个扩展名为test_type.json的文件名，其中type_test就是mapping所对应的type名。
- 在test_type.json中输入mapping信息。假设你的mapping如下：
{
"test_type": { # 注意，这里的test_type与json文件名必须一致
"properties": {
"name": {
"type": "string",
"index": "not_analyzed"
},
"age": {
"type": "integer"
}
}
}
}
- 在$ES_HOME/config/路径下创建mappings/index_test子目录，这里的index_test目录名必须与我们要建立的索引名一致。将test_type.json文件拷贝到index_tes目录下。
- 步骤4 创建index_test索引。操作如下：
curl -XPUT "192.168.1.101:9200/index_test" # 注意，这里的索引名必须与mappings下新建的index_test目录名一致
这样我们就创建了一个新的索引，并且使用了test_type.json所定义的mapping作为索引的mapping。
参考链接：具体方法参考http://blog.csdn.net/xialei199023/article/details/48085125
mapping中一些常用的属性：
"activity_type": {
"type": "string",//string在新版本已经废弃
"index": "not_analyzed"
},
"address": {
"type": "string",
"analyzer": "ik_smart"
},
"last_update_time": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
}
- Fields with the same name in different mapping types in the same index must have the same mapping.（同一索引下，不同类型的相同字段必须定义成相同的mapping），但是每个字段的以下属性可以用不同的设置，如copy to、dynamic、enabled、ignore_above、include_in_all、properties。
具体可参考https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html#_field_datatypes
Field支持的数据类型：
- 基本类型：text、keyword、date、long、double、boolean、ip
- range datatypes：integer_range, float_range, long_range, double_range, date_range （可以直接存区间数据，目前项目中尚未应用，主要应用场景尚不明确，合同管理的日期似乎可以应用）
- 支持json分层属性，复杂的数据类型，如array、object、nested
- 特殊类型：地理点、地理形状、completion
防止mapping激增的一些常用设置：
- index.mapping.total_fields.limit The maximum number of fields in an index. The default value is 1000.
- index.mapping.depth.limit 一个字段的最大深度，默认是20
- index.mapping.nested_fields.limit 嵌套字段的最大数目，默认50
动态mapping
- 不允许更新已经设置好的mapping
- multi-fields是可以使用多种分词器，如french analyzer，目前我们使用的是standard analyzer、english analyzer、id_smart analyzer。
自动映射：
- 动态映射：可以设置为true(默认值。动态添加字段)、false(忽略新字段)、strict(如果碰到陌生字段，抛出异常)
- 默认映射：通常，一个索引中的所有类型具有共享的字段和设置。用 default 映射来指定公用设置会更加方便，而不是每次创建新的类型时重复操作。_default 映射像新类型的模板。所有在 default 映射 之后 的类型将包含所有的默认设置，除非在自己的类型映射中明确覆盖这些配置。
例如，我们可以使用 default 映射对所有类型禁用 _all 字段，而只在 blog 字段上开启它：
PUT /my_index
{
"mappings": {
"_default_": {
"_all": { "enabled": false }
},
"blog": {
"_all": { "enabled": true }
}
}
}
default 映射也是定义索引级别的动态模板的好地方。
- 动态模板：通过dynamic_templates，你可以拥有对新字段的动态映射规则拥有完全的控制。你设置可以根据字段名称或者类型来使用一个不同的映射规则。
每个模板都有一个名字，可以用来描述这个模板做了什么。同时它有一个mapping用来指定具体的映射信息，和至少一个参数(比如match)用来规定对于什么字段需要使用该模板。
模板的匹配是有顺序的 - 第一个匹配的模板会被使用。比如我们可以为string字段指定两个模板：
- es：以_es结尾的字段名应该使用spanish解析器
- en：其它所有字段使用english解析器
一个动态模板的示例：
PUT /my_index
{
"mappings": {
"my_type": {
"dynamic_templates": [
{ "es": {
"match": "*_es",
"match_mapping_type": "string",
"mapping": {
"type": "string",
"analyzer": "spanish"
}
}},
{ "en": {
"match": "*",
"match_mapping_type": "string",
"mapping": {
"type": "string",
"analyzer": "english"
}
}}
]
}}}
另外一个典型的mapping对象：
{
"mappings": {
"my_type": {
//true:表示自动识别新字段并创建索引，false:不自动索引新字段，strict:遇到未知字段，抛异常，不能存入
"dynamic": "strict",
//动态模板
"dynamic_templates": [
{ "stash_template": {
"path_match": "stash.*",
"mapping": {
"type": "string",
"index": "not_analyzed"
}
}}
],
//属性列表
"properties": {
//一个string类型的字段
"title": { "type": "string"},
"stash": {
"type": "object",
"dynamic": true //这里设置为true主要针对的是动态模板，即新增的field要是动态模板匹配不上，就会抛异常，否则就是按照模板来创建。
}
}
}
}
}
注意点：Elasticsearch映射虽然有idnex和type两层关系，但是实际索引时是以index为基础的。 如果同一个index下不同type的字段出现mapping不一致的情况 虽然数据依然可以成功写入并生成并生成各自的mapping， 但实际上fielddata中的索引结果却依然是以index内第一个mapping类型来生成的。
一次定义一个index下的两个type mapping：
糖果库mapping设置：
curl -XPUT 'http://localhost:9200/moparticle3' -d '
{
"settings": {
"number_of_shards": 6,
"number_of_replicas": 1
},
"mappings": {
"article": {
"_all" : {
"enabled" : false
},
"_routing" : {
"required" : true
},
"properties" : {
"docid" : {
"type" : "keyword"
},
"boardid" : {
"type" : "keyword"
},
"postid" : {
"type" : "keyword"
},
"topicid" : {
"type" : "keyword"
},
"del" : {
"type" : "integer"
},
"title" : {
"type" : "text",
"analyzer" : "ik_smart",
"search_analyzer": "ik_smart",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
},
"en" : {
"type": "text",
"analyzer": "english"
}
}
},
"digest" : {
"type" : "text",
"analyzer" : "ik_smart",
"search_analyzer": "ik_smart",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
},
"en" : {
"type": "text",
"analyzer": "english"
}
}
},
"source" : {
"type" : "keyword"
},
"ptime" : {
"type" : "date",
"format": "yyyy-MM-dd HH:mm:ss"
}
}
}
}
}
'
article表mapping设置：
curl -XPOST http://localhost:9200/subscribe/article/_mapping -d '{
"article" : {
"_all" : {
"enabled" : false
},
"_routing" : {
"required" : true
},
"properties" : {
"id" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"original" : {
"type" : "long"
},
"postState" : {
"type" : "long"
},
"publishTime" : {
"type" : "date",
"format": "yyyy-MM-dd HH:mm:ss"
},
"source" : {
"type" : "long"
},
"title" : {
"type" : "text",
"analyzer" : "ik_smart",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
},
"en" : {
"type": "text",
"analyzer": "english"
}
}
},
"tname" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"topState" : {
"type" : "long"
},
"type" : {
"type" : "long"
},
"updateTime" : {
"type" : "date",
"format": "yyyy-MM-dd HH:mm:ss"
},
"userClassify" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"wemediaId" : {
"type" : "keyword"
}
}
}
}'
一些不常用的datatype 整理
Array datatype：四种定义方式
- an array of strings: [ "one", "two" ]
- an array of integers: [ 1, 2 ]
- an array of arrays: [ 1, [ 2, 3 ]] which is the equivalent of [ 1, 2, 3 ]
- an array of objects: [ { "name": "Mary", "age": 12 }, { "name": "John", "age": 10 }]
采用如下方式自动创建mapping：
PUT my_index/my_type/2
{
"tags": [ "哈哈哈","中国社会主义人民" ]
}
这时的tags是按照text的形式来定义的，但其实是个数组。会对我们数组中的每个元素进行分词，我们在搜索的时候，相当于对整个数组的数据进行分词匹配。同时还可以使用must方法来匹配一个数组的多个。比如匹配数组中既有1又有2的数据。
Binary datatype：
Binary类型的field是不能被搜索的。同时会以列的形式存到硬盘上，后续可以用来排序、聚合等，但是默认不会被store，即不会从_source字段中剥离出来，需要自己手动配置。
Range datatypes：
官网链接：https://www.elastic.co/guide/en/elasticsearch/reference/current/range.html
具体可以参考文档，暂不做总结，觉得可能实用不是很大。
项目在实际使用中，为了提升性能，降低带宽，在es查询时，只返回部分字段。具体实现方式如下：
官网链接：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-store.html
官网说明：If you only want to retrieve the value of a single field or of a few fields, instead of the whole_source, then this can be achieved with source filtering.
主要作用：不需要返回_source数据，减少返回数据的大小
es在定义mapping时可以指定某一个字段是都设置store参数，
PUT my_index
{
"mappings": {
"my_type": {
"properties": {
"title": {
"type": "text",
"store": true
},
"date": {
"type": "date",
"store": true
},
"content": {
"type": "text"
}
}
}
}
}
注：Stored fields returned as arrays
For consistency, stored fields are always returned as an array because there is no way of knowing if the original field value was a single value, multiple values, or an empty array.
Another situation where it can make sense to make a field stored is for those that don’t appear in the _source field (such as copy_to fields).
Java API的使用：
首先需要mapping定义store属性。
在SearchRequestBuilder后面可以添加storedFields(String...)或者addStoredField(String)方法。添加后，response.getHits().getHits()的hit对象的source就为空了，只能获取我们storedFields方法添加的字段。
方法如下：
hit.field("title").getValue()
hit.getFields().get("title").getValue()
hit.getFields().get("title").getValues()
同时还可以通过getValues方法或者一个List<Object>对象，因为es也不知道你要获取的这个字段到底是string还是数组，所以需要自己在写代码的时候进行选择。
