使用什么工具对mysql进行数据清洗

下载安装软件

使用navicate for mysl 之前当然先下载该软件，可以通过百度搜索查找 navicate 特别注意一下，请认准百度安全验证最好到官方网站，或者正规软件下载站下载

2

下载好软件之后，进行安装navicat for mysql(安装过程之间注意一下插件的自定义选择）

Navicat for mysql 怎么用?

连接数据库

打开navicat for mysql之后找到，文件----新建连接-- 如下图

连接参数填写

在出现的连接设置里面，有很多选项都是针对需要连接的数据库的账号信息

连接名：可以任意填写，方便以后识别区分即可

主机名或IP： 填写服务器的主机名(必须要能解析的）或者服务器IP地址，如果是本机可 以填写localhost 或 127.0.0.1

端口：默认是3306 如果修改了其他端口，需要对应

密码：就是用户名root密码或者其他mysql用户的密码

设置好连接数据库的参数之后，点击下方的“连接”如图出现“连接成功”即设置成功

数据库管理

连接上数据库之后，在左侧会显示当前mysql所有的数据库。点击对应的数据库，能查看当前数据库下面的表

添加删除数据库

如果需要添加删除数据库的话，很简单选择需要 *** 作的数据库，鼠标右键选择 *** 作即可

添加删除表

同样对于数据库下方的表，如果要新建的话点击选择 表---新建

对于新建的表，名和类型都可以手动输入指定选择。设置好之后，点击保存输入表名即可完成 *** 作

点击添加好的表，或数据库的表。双击之后右侧会列出当前表的详细列项目和属性

如何使用命令行

虽然是图形化管理工具，但是对于很多 *** 作其实还是需要SQL命令会更加方便。进入sql命令行界面，点击“工具”--“命令列界面”如下图箭头位置

随后在右下方空白区域进入了SQL命令行界面， *** 作方法和普通进入mysql命令行界面一样使用命令。如果需要清除当前屏幕内容，可以点击“清除”即可

其他功能

对于之前数据库已经导出的sql文件，或者写好的sql命令语句。可以通过选择需要导入的数据库，或表 右键选项“运行sql文件”

如果数据库是安装在你机器上的

那么你可以暂时把MYSQL关闭

然后进入安装目录

找到data文件夹

这里面就是放置数据库文件的。。你会看到data里面每一个文件夹都对应你一个数据库名称

把他们删除就好了

就彻底没了

不过可别把mysql这个文件夹删了

还有别的文件

比如.err别乱删哦。

如果这个你不会

或者说文件在使用删除不了

那么你就用mysql的可视化工具

比如mysql-front

5.1

进去删除

效果都是一样。

页是 InnoDB 管理存储空间的最小单位。一个页的大小一般是 16 KB。InnoDB 有许多种页用于不同的作用。其中数据页则是用于存储数据。数据页存储的内容为:

其中 Infimum + supremum 以及 User Records 为页中存储数据的部分。其中 Infimum 表示页中的最小记录，而 supremum 表示页中的最大记录。这两个记录不存储实际的值，而仅仅表示开头以及结尾。User Records 部分按行存储数据。User Records 中的每一条记录格式为:

插入到页中的记录是按主键大小进行排序。利用其中的 next_record 可以查找到下一条记录。在不考虑索引的情况下，如果我们要寻找其中的某条记录可以通过遍历链表的方式进行查找。但是如果当页中的数据过多，o(n) 的时间复杂度明显不满足快速查找的需求。因此 InnoDB 在页中设计了页目录。页目录中有多个槽，其规则如下:

因此实际搜索时，可以利用槽进行二分搜索，将算法复杂度降到了 。这个结构有点类似于一个两层的跳跃表。

由于一个页中实际能存储的数据有限，因此记录会被分配到多个页进行存储。页与页之间有着双向链表的结构。

在 innodb 中使用 B+ 树作为索引。实际上索引在 mysql 中也是作为页进行管理的。例如:

索引页与数据页类似，只是索引页中一条记录只存在两列。分别是页对应的最我号，以及页的页编号。当然，一个 b+ 树肯定存在多个级别，因此实际上的存存储格式为:

这里可以看出索引页与数据页其实并没有太多的区别。只不过数据页中存储着真实的数据，而索引页只存储索引。这里也可以看出主键索引实际上是聚集索引，当查找到最终的数据页时是可以直接获得数据。

许多个页组成的空间之为页空间。每个表空间对应着一个真实的文件 表名.ibd。每一个独立表空间中又会分为多个区。每一个区实际上是 64 个连续的页组成。每256个区划又会分为一组。

为什么会提出区的概念呢？原因是查找数据的时候，在页与页之间会通过双向链表进行查找。如果两个页随机分配物理地址，则其之间的物理位置可能非常远。那么在查找的时候无疑会形成大量的随机 IO。降低磁盘的性能。因此，当表中数据过大的时候，以区为单位进行分配连续的磁盘空间，可以减少随机 IO 的数量。

表空间中还有段的概念，当我们利用索引进行查询的时候。很多时候实际上是利用 B+ 树的叶子节点进行范围扫描。但是如果将索引页和数据页都存放在一个区中，那么数据页不一定是连续的磁盘空间。因此当进行范围扫描的时候又会存在随机 IO 的情况。因此索引页和数据页实际上是存放在不同的区中。存放索引页的区的集合又成为一个段，当然非索引页存放的区的集合则为另一个段。

我们知道，磁盘的速度是远远小于内存的速度。因此 InnoDB 会将查询的页缓存在内存 Buffer Pool 中，以免每一次请求都从磁盘中获取，加快查询速度。当然，内存不可能无止尽的使用。因此 InnoDB维护了一个 free 链表。 free 链表指向 Buffer Pool 中可用的部分。

当页面进行修改之后，缓存的中的页页不会马上落盘，这样的页称为脏页。InnoDB 维护了一个 flush 链表指向了脏页。当 buffer 的空间不足时，InnoDB 会进行刷页 *** 作，将脏页写入到磁盘中，腾出内存空间供新的页缓存使用。

一般来说，数据有冷热之分。如果经常刷新热点数据到磁盘中，肯定不划算。因为热点数据经常被查询修改，当写入到磁盘中后又会很快读入到缓存中，做了很多无用功。因此 InnoDB 采用了 LRU 算法统计哪些是热点数据，哪些是非热点数据。每次刷盘时从首先 LRU 链表的尾部将热点数据刷入到磁盘中。

InnoDB 并不是采用最简单的链表，而是划分区域的链表。其设计的原因是，InnoDB 在某些时候会采取预读的 *** 作，将一个区的数据全部读入到内存中。这些数据就会出现在 LRU 链表的头部。如果这些预读的数据最终不能被查询，那么真正的热点数据反而被挤到了链表的尾部，这样一旦存在预读行为 LRU 链表的功能就丧失了。同样，当用户进行扫描全表的 *** 作时，大量的页也会被加载到缓存中将 Buffer 占满。因此 InnoDB 将 LRU 分为两个区域-热数据(young 区)以及冷数据(old 区)。

对于第一种情况，当页被缓存到 Buffer 时首先会被放在 old 区。如果该页后续被继续访问，则会被放到 young 区中。而如果该页后续没有被继续访问到，则会逐渐移动到 old 区尾部。

对于扫描全表的情况，扫描全表有一个特点。即页中的每一条数据都会被访问到，同一个页第一次访问到最后一次访问的间隔时间一定很短。因此 InnoDB 设计了一个策略，如果当一个页加载到内存中，并且该页在第一此访问与最后一次访问间隔相差小于 1s (默认值)，则该页就不会被加入到 young 区中。因此这种方式可以避免全表扫描时对 LRU 链表的污染。

---