两分钟了解ElasticSearch的索引重建

q
在5.x版本之后ElasticSearch新增了索引重建功能,可以直接在ES集群里面对数据进行重建并且支持跨集群间的数据迁移。

1、什么是索引重建

在保证数据的一致性和可用性情况下,使用一个新的索引替换掉旧的索引。如下是索引重建的常见场景:

(1)索引的分片发生了改变

(2)文档结构的变更

ES中一个字段的mapping在定义并且导入数据之后就不能在修改,此时可以使用索引重建。

(3)ES版本升级

2、索引重建的实现过程

源端索引的结构:

PUT longxia_item 
{ 
    "mappings": { 
        "_doc": { 
            "properties": { 
              "item_id": { 
                    "type": "integer" 
                }, 
                "item_name": { 
                    "type": "text", 
                    "fields": { 
                        "raw": { 
                            "ignore_above": 256, 
                            "type": "keyword" 
                        } 
                    } 
                } 
            } 
        } 
    } 
}

(1)同步数据到longxia_item2索引中

POST _reindex                    
{ 
  "source": { 
    "index": "longxia_item" 
  }, 
  "dest": { 
    "index": "longxia_item2" 
  } 
}

(2)删除源索引的数据

delete longxia_item

(3)将目标索引更名为源索引的名称

POST /_aliases 
  { 
        "actions": [ 
            {"add": {"index": "longxia_item2", "alias": "longxia_item"}} 
        ] 
  }

使用Reindex的注意点:

(1)要求源端索引的元字段_source是打开的,默认是打开的

(2)Reindex过程并不会自动将源端索引的设置拷贝到目标索引,所以需要事先在目标集群中按照源端索引的表结构建立好目标索引。

3、索引重建过程很慢的解决方案

(1)修改批次数据的大小

(2)借助Scroll并行优化方式

POST _reindex?slices=5&refresh 
{ 
  "source":{ 
    "index": "longxia_item" 
  }, 
  "dest":{ 
    "index": "longxia_item2" 
  } 
}

Reindex的底层是是Scroll实现,对每个Scroll请求分成多个Slice请求,让各Slice独立并行,以此来提升效率。

slices大小设置注意事项:

(a)slices大小的设置可以手动指定,或者设置slices设置为auto。 auto 针对单索引,slices大小=分片数;针对多索引,slices等于分片的最小值。

(b)当slices的数量等于索引中的分片数量时,查询性能最高效。slices大小大于分片数,非但不会提升效率,反而会增加开销、影响性能。

(3)es副本设置成0

PUT /longxia_item2/_settings 
{ 
    "number_of_replicas": 0 
}

这样设置之后暂时不会同步es副本数据,等到数据同步完成后启用副本,再去同步副本数据,从而提高同步索引重建的速度。

(4)禁用或者增加refresh间隔

PUT /longxia_item2/_settings 
{  
  "refresh_interval": -1    #禁用 
}

针对不需要实时获取结果的业务场景,可以先不要索引刷新refresh(默认值是1s)。在做Reindex时可以将每个索引的refresh_interval到60s或禁用,等到数据同步完成之后再恢复 refresh 。

5