如何排查数据库服务器连接被关闭的问题

您好，提示已经很明显的告诉你了，就是程序无法和数据库正常连接导致软件无法正常使用。
请检查你的软件和数据库服务器的网络是否是连接的，直接Ping一下网络即可知道。
如果网络是连接的，那么请看看是否是你的电脑网络不正常，或者是有谁无意间修改了软件程序与数据库的连接配置文件，请找到配置文件修改即可。

1、开区服务器处于非运行状态
开区服务器宕机或是遇到攻击，被打封了，这时候服务器是连接不上的，自然游戏里也是连接不上的，所以第一时间要排查服务器是否能正常连接，若是连接不上，第一时间联系服务商处理。
2、列表的开区IP或端口和服务器配置不对应
单机的默认IP是127001，若是架设单机，在引擎配置向导那里就不能勾选动态IP。
架设外网就要勾选动态IP了，然后要特别注意，列表上的开区端口是第二步登录网关所对应的端口，默认是7000，如果是端口号有改动，那列表上也要改。
IP和端口确定没问题后，基本就不会出现“连接服务器失败”的情况
3、所用的游戏端口未开放
若是IP和端口都确定没问题，但是还是“连接服务器失败”，就要检查下是不是所用的游戏端口没有开放。物理服务器多数是默认开放游戏端口的，当然也可以和服务商确认下将所用的端口过白，云服务器端口多数是要自己设置的，可以在安全组或是防火墙设置，找不到设置入口的就联系服务商处理
4、用的列表不是自己的
这种原因还是比较少的，但是也会有，仔细检查列表地址是否有问题，列表可以放在自己网站，也可以放在免费的列表空间

 日常我们使用redis 缓存时，经常会遇到各种各样的问题，其中redis 偶发性连接超时，是经常遇到的一个问题，下面介绍一下我们之前是如何处理的这个问题。

1、redis 服务监控

      通过监控工具，首先排查一下redis 服务端是否是超时，可以从服务器cpu ，内存使用情况，qps等判断server 端是否超时。如果server 侧没有问题，就需要排查客户端。如果server 侧存在问题，就需要排查服务器哪里出了问题，单机性能使用率太高是否可以升级成哨兵模式或者高可用集群模式。

2、redis 客户端排查

     首先查看业务日志，查看一下redis 使用情况是否是存在连接数占满或者创建失败的异常，如果存在，在客户端服务器，使用top 指令，查看使用率高的线程，然后jstack pid,查看当前线程的使用情况。如果出现大量的线程状态显示time_waiting 或者waiting 。则表示连接数一直没有释放，可以通过调整客户端配置的redis 连接池参数，比如配置max连接数和min连接数，time_out超时时间等等。

3、redis 热key排查

排查redis 热key,腾讯云或者阿里云服务器可以使用监控热key的工具。redis 40 以后，提供了—hotkey 指令，可以通过热key 指令来监控热key。如果发现异常热key,比如spring-redis-session的热key,存储的是一段时间戳，并且访问率非常高，qps 几十万/s。这时候需要考虑热key是否对业务产生影响，可以通过配置springsessionstore-type=none，关闭存储redis这时候热key访问量下降，业务key 可以正常访问。

通过以上方式，排查生产中遇到的redis 连接问题，可以排查线上遇到的问题，基本都可以解决掉。

 新客户于最近向我们SINE安全公司咨询，说他的服务器经常卡的网站无法打开，远程连接
服务器的慢的要命，有时候PING值都达到300-500之间，还经常掉包，听客户这么一说，一般
会判断为受到了CC+DDOS混合流量攻击，再具体一问，说是机房那面没有受到流量攻击，这
就有点奇怪了，不是流量攻击，还导致服务器卡，网站无法打开，这是什么攻击？为了解决客
户服务器卡的问题，我们随即安排安全工程师对他的Linux服务器进行了安全检测与安全部署。

 

SSH远程登录客户的Linux服务器，查看当前的进程发现有一个特别的进程占用了百分之100
的CPU，而且会持续不断的占用，我们查了查该进程，发现不是linux的系统进程，我们对进程
的目录进行查看，发现该进程是一个木马进程，再仔细进行安全分析，才确定是目前最新的挖
矿木马病毒，挖的矿分很多种，什么比特币，什么罗门币的，太多太多，看来现在的挖矿技术
扩展到了入侵服务器进行肉鸡挖矿了。

挖矿木马的检测与清除

 

我们在系统的目录下发现了挖矿木马主要是以 Q99sh命名的文件来控制客户的linux服务器，看
里面写的代码是以root权限运行，并自动启动计划任务，当服务器重启时继续执行计划任务，
导致客户怎么重启都于事无补，还是卡的要命。该木马代码还调用了一些Linux系统命令，bashe
bashd来挖矿，该命令是最直接也是占用CPU到顶峰的关键，太粗鲁了，这样的挖矿本身就会让
客户发现问题，看来挖矿者只顾着赚钱，不考虑长久之道了。

 

挖矿木马还设计了挖矿进程如果被客户强制停止后，会自动启动继续挖矿，达到不间断的挖矿，
仔细检查发现是通过设置了每个小时执行任务计划，远程下载shell挖矿木马，然后执行，检查
当前进程是否存在，不存在就启动挖矿木马，进行挖矿。

对客户的linux服务器进行详细了安全检测发现幸亏没有加密服务器的数据，以及感染蠕虫的病
毒，如果数据被加密那损失大了，客户是做平台的，里面的客户数据很重要，找出挖矿木马后，
客户需要知道服务器到底是如何被攻击的？ 被上传挖矿木马的？ 防止后期再出现这样的攻击
状况。

通过我们安全工程师的安全检测与分析，发现该服务器使用的是apache tomcat环境，平台的开
发架构是JSP+oracle数据库，apache tomcat使用的是2016年的版本，导致该apache存在严重
的远程执行命令漏洞，入侵者可以通过该漏洞直接入侵服务器，拿到服务器的管理员权限，
SINE安全工程师立即对apache 漏洞进行修复，并清除木马，至此问题得以解决，客户服务器
一切稳定运行，网站打开正常。

1、病毒木马排查。
11、使用netstat查看网络连接，分析是否有可疑发送行为，如有则停止。
在服务器上发现一个大写的CRONTAB命令，然后进行命令清理及计划任务排查。
(linux常见木马，清理命令chattr -i /usr/bin/sshd; rm -f /usr/bin/sshd; chattr -i /usr/bin/swhd; rm -f /usr/bin/swhd; rm -f -r /usr/bin/bsd-port; cp /usr/bin/dpkgd/ps /bin/ps; cp /usr/bin/dpkgd/netstat /bin/netstat; cp /usr/bin/dpkgd/lsof /usr/sbin/lsof; cp /usr/bin/dpkgd/ss /usr/sbin/ss;rm -r -f /root/ssh; rm -r -f /usr/bin/bsd-port;find /proc/ -name exe | xargs ls -l | grep -v task |grep deleted| awk '{print $11}' | awk -F/ '{print $NF}' | xargs killall -9;）
12、使用杀毒软件进行病毒查杀。
2、服务器漏洞排查并修复
21、查看服务器账号是否有异常，如有则停止删除掉。
22、查看服务器是否有异地登录情况，如有则修改密码为强密码（字每+数字+特殊符号）大小写，10位及以上。
23、查看Jenkins、Tomcat、PhpMyadmin、WDCP、Weblogic后台密码，提高密码强度（字每+数字+特殊符号）大小写，10位及以上。
24、查看WEB应用是否有漏洞，如struts, ElasticSearch等，如有则请升级。
25、查看MySQL、SQLServer、FTP、WEB管理后台等其它有设置密码的地方，提高密码强度（字每+数字+特殊符号）大小写，10位及以上。
26、查看Redis无密码可远程写入文件漏洞，检查/root/ssh/下黑客创建的SSH登录密钥文件，删除掉，修改Redis为有密码访问并使用强密码，不需要公网访问最好bind 127001本地访问。
27、如果有安装第三方软件，请按官网指引进行修复。

---