2、检查es的集群环境,确保集群状态健康,节点都在线;
3、检查datax配置文件,确保写入es的配置正确,比如es地址,端口,用户名,密码等;
4、检查datax的写入速度,确保不要过快,以免造成es集群的负载过高;
5、检查es集群的资源分配,确保es集群有足够的资源来处理datax的写入请求;
6、检查es集群的分片配置,确保能够满足datax写入es的需求;
7、检查es集群的索引配置,确保索引的分片数量足够,以及索引的分片和副本分配是否合理;
8、检查es集群的缓存状态,确保缓存足够,以及缓存的分配是否合理;
9、检查es集群的硬盘状态,确保硬盘的容量足够,以及硬盘的分配是否合理;
10、检查datax的运行环境,确保datax的运行环境稳定,以及datax的运行参数设置是否合理。
原因是:1、写入索引数据增多,单个shard数据量太大(超过50GB),导致写入速度变慢。
2、数据写入,segment合并变得频繁,es节点负载变高导致上传变慢。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)