php导出es中大量数据 php导出excel大数据

ES跨集群数据迁移

1、reindex是Elasticsearch提供的一个api接口，可以把数据从一个集群迁移到另外一个集群。

创新互联公司成立于2013年，是专业互联网技术服务公司，拥有项目成都网站设计、做网站网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元东兴做网站,已为上家服务,为东兴各地企业和个人服务,联系电话:18982081108

2、迁移ES数据到ES8可以通过Elasticsearch官方提供的Reindex API，也可以使用Logstash插件来实现。使用Reindex API可以快速迁移，其步骤为：准备源和目标集群；使用Reindex API迁移数据；删除源索引；等待目标索引同步结束。

3、当我们为一个索引建立一个新的副本，Master节点便会发布一个新的集群状态，被分配的Work节点根据ShardRouting找到主分片位置并建立恢复任务，此过程在ES中被称之为peer_recovery。

4、这样所有的 ES 节点就可以使用同一个数据共享目录。在旧集群每个 ES 节点的 elasticsearch.yml 中，设置 ES 快照仓库目录为前边 NFS 配置的数据共享目录，也就是 ES 数据要备份到的目录：修改完成后重启 ES 服务。

5、需要确保两个ES集群在同一个VPC下 配置实例网络互通，配置其中一个ES集群即可，另外一个会自动设置。登录ES Kibana（购买ES时默认部署）添加远程ES数据源（即被同步的ES集群）在测试ES集群操作。

elasticdump实现es数据导入导出

1、elasticsearch-dump是一款开源的ES数据迁移工具，github地址： https：//github点抗 /taskrabbit/elasticsearch-dump 以下操作通过elasticdump命令将集群x.x.x.1中的companydatabase索引迁移至集群x.x.x.2。

2、需要确保两个ES集群在同一个VPC下 配置实例网络互通，配置其中一个ES集群即可，另外一个会自动设置。登录ES Kibana（购买ES时默认部署）添加远程ES数据源（即被同步的ES集群）在测试ES集群操作。

3、Filter会做数据过滤，ES会对Filter的结果做缓存，因此相对于query速度会快一些。

4、put 方法不带 id 发送请求行不行？可以看到使用 put 方法不带 id 请求会报错，也就是说 put 是不允许不带 id 请求的，而 post 是允许的。

5、node.master： true 指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。node.data： true 指定该节点是否存储索引数据，默认为true。

ES大数据量下的查询优化

在bulk大量数据到ES集群的时候可以关闭刷新频率，把其值设置为-1就是关闭了刷新频率，在导入完之后设置成合理的值即可。

使用分页技术：分页技术可以有效地减少每次搜索的数据量，使得搜索过程变得更快。 使用索引：索引可以有效地加快搜索速度，减少搜索时间。

一天生成10G日志一般是因为部分应用日志使用不当，很多大数量的日志可以不打，比如大数据量的列表查询接口、报表数据、debug 级别日志等数据是不用上传到日志服务器，这些 即影响日志存储的性能，更影响应用自身性能。

ES，全称 Elastic Search ，是一个基于 Lucene 的开源搜索引擎。

所有数据是存在ES中的，百万量级。恩~要用python写一个接口。通过查找资料，通过 ES模糊搜索 可以实现。 prefix的匹配一般是处理不分词的场景，将会匹配articleID中以”J”开头的doc。

网站栏目：php导出es中大量数据 php导出excel大数据
本文路径：http://6mz.cn/article/dcspgee.html