MySQL使用union导致数据丢失的解决办法

最近在做报表统计的时候碰到一个诡异的bug，union左边查出来有4条数据，右边是0条，理论上最后的结果有4条，但是执行结果很意外，只有三条。最后的解决办法是在查询数据列加上了各自的报表时间。

原始sql：

改正后：

union在做一些数据合并统计的时候很有用，但稍不注意就会踩坑导致数据丢失统计出错。

使用union时一定要注意union自带了去重功能，而且机制类似于 把左右两边的数据完全做完合并再来一个distinct，所以一旦有两行的数据一模一样时，union会去掉这些重复行，即使这些重复行只是存在于其中一个结果集的 。

union all的机制类似于把左右两边的数据完全做完合并，并且不会做去重。虽然可以使用union all就不会做去重，但是试想一下这个需求：如果我们需要把左结果集和右结果集的数据做合并，但是左结果集和右结果集存在一些重复，这种重复数据是应该去掉的，而左结果集和右结果集自身存在的重复行是应该保留的，因为我们的目的并不是在每个结果集做去重，而是保证union的左边数据不和右边数据重复。建议认真考虑使用场景再决定是否使用union all。

union去重时去掉的重复数据如果是我们需要保留的，因为他们并不是来自于同一行，只是因为值完全一致而被去掉了，那么应该把这些数据的唯一标志也放在查询列，这样就不是重复数据了。

备注:考虑信息敏感性,以下分析场景测试环境模拟,相关数据做以下说明

发现了一些端倪,在mysql-bin.000004中有对该表的2次truncate *** 作,等等,好像发现了什么,那条丢失的数据也是在这个mysql-bin.000004文件中,梳理下逻辑,难道那条记录在2次truncate之间,于是单独对这个binlog做详细解析,得到以下信息

到此基本了解了这条记录为何会诡异丢失了 ,与客户确认跑批灌数据的逻辑,了解到会对该表做truncate,但由于 误 *** 作 ,在跑批开始后,又触发了一轮truncate行为,导致已经插入到该表的部分数据再次被清理了,也就导致了在解析binlog时部分记录丢失了,但并未观测到有删除的行为,而是被truncate方式清理.

备注 :虽然binlog记录的信息足够多,但当故障原因定位后,由于其并未记录 对该 *** 作的IP及用户 信息,如果不开审计,也只能知道发生了该行为,但无法具体定位触发该行为的"人".

具体的解决步骤如下，希望能帮助遇到同样问题的同学们：

找到并修改my.cnf文件。在不同的Linux系统下，my.cnf放在不同的位置。这里以Ubuntu Server做示例，其他系统请根据情况自行找到my.cnf的路径。一般只会存放在/etc/my.cnf或者/etc/mysql/my.cnf下。

首先用vim打开my.cnf：

vim /etc/mysql/my.cnf

看看是否有绑定本地回环地址的配置，如果有，注释掉下面这段文字：（在文字之前加上#号即可）

bind-address = 127.0.0.1

然后找到[mysqld]部分的参数，在配置后面建立一个新行，添加下面这个参数：

skip-name-resolve

保存文件并重启MySQL：

/etc/init.d/mysql restart

这样就会发现，问题已经解决了！远程连接不会丢失了。

补充 mysql连接不原因

1. 首先要排查网络问题和防火墙的问题

这个是必须的， 你要是连MySQL的服务器都连不上， 那还访问什么？ 怎么检查呢？ ping一下

ping 192.168.0.11 ping 的通的话， 再去检查一下 3306端口是不是被防火墙给挡掉了

ping 192.168.0.11:3306 或者干脆把防火墙关掉，service iptables stop (Redhat ) 或 ufw disable(ubuntu)

这一步没问题的话， 开始下一步：

2. 要排查有没有访问权限 说到访问权限， MySQL分配用户的时候会指定一个host, 比如我的 host 指定为 192.168.0.5 , 那么这个账号就只能 5 这一台机器访问， 其他的机器用这个账号访问会提示没有权限。 host 指定为 % 则表示允许所有的机器访问。

一般来说出于安全方面的考虑，遵循最小权限原则， 权限的问题就不多讲了， 不会的自己查手册。 确定了权限没问题的话进行下一步：

3. 要排查MySQL的配置

检查mysql的配置文件， Linux下MySQL的配置文件叫 my.cnf windows下的叫 my.ini,检查这个配置项： –bind-address=IP

---