时序数据库和结构化的关系

序数据库英文全称为Time Series Database，简称TSDB，是以时间为索引的规律性时间间隔记录的数据库。时序数据库采用特殊数据存储方式，极大提高了时间相关数据的处理能力，相对于关系型数据库它的存储空间减半，查询速度极大的提高。

一、时序数据库是什么

时序数据库全称为时间序列数据库。时间序列数据库指主要用于处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。

时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。



二、时序数据库的特点

1、有效处理庞大数据。

2、对重复的部分，Informix TimeSeries只保持一份数据。

3、节省空间50%，有效降低I/O。

4、主键索引更有效。

5、时间序列表头分离的特性不浪费空间。

三、时序数据库和关系型数据库的区别

1、数据压缩情况

关系型数据库将它们的数据按行存储在磁盘上，不同的数据类型彼此相邻，这限制了可以使用什么类型的压缩算法以及可以压缩多少数据。

而时序数据库通常以相同类型的数据点彼此相邻的方式存储数据，这样的话可以使用最佳压缩算法，大大节省了存储成本。

2、数据库架构

关系型数据库底层是定义好模式的，所以对于表本身，不管是修改还是删除某一列，都会影响到数据库的模式，在底层相当于要进行”数据库迁移“。

而时序数据库往往是无模式的，允许快速轻松地添加新字段。

3、可用性和冗余

关系型数据库可以通过集群存储的方式提供高可用性，但它们容易受到网络可用性的影响，如果连接断开，数据收集将停止。

而时序数据库通过收集器的冗余可以确保良好的可用性，时序数据库一般带有存储转发技术，如果发生中断，该技术会在收集器处缓冲数据，当服务器自动重连时，缓冲区最终会同步上传，确保不会丢失数据。

4、数据安全

数据库被黑客和病毒攻击的事件频繁发生，中q的大多数是知名的关系数据库，常见的攻击比如有：SQL注入。

而时序数据库一般不允许通过标准接口插入、更新或删除数据，此外，时序数据库会跟踪所有更改，包括使用访问、配置、安全违规和系统警报。

前言

上篇文章简单介绍canal概念，本文结合常见的缓存业务去讲解canal使用。在实际开发过程中，通常都会把数据往redis缓存中保存一份，做下简单的查询优化。如果这时候数据库数据发生变更 *** 作，就不得不在业务代码中写一段同步更新redis的代码，但是这种 数据同步的代码和业务代码糅合在一起 看起来不是很优雅，而且还会出现数据不一致问题。那能不能把这部分同步代码从中抽离出来，形成独立模块呢？答案是肯定的，下面通过canal结合Kafka来实现mysql与redis之间的数据同步。

架构设计

通过上述结构设计图可以很清晰的知道用到的组件：MySQL、Canal、Kafka、ZooKeeper、Redis。

Kafka&Zookeeper搭建

首先在 官网 下载Kafka：

下载后解压文件夹，可以看到以下几个文件：

Kafka内部自带了zookeeper，所以暂不需要去下载搭建zookeeper集群，本文就使用Kafka自带zookeeper来实现。

通过上述zookeeper启动命令以及Kafka启动命令把服务启动，可以通过以下简单实现下是否成功：

Canal搭建

canal搭建具体可以参考上文，这里只讲解具体的参数配置：

找到/conf目录下的canalproperties配置文件：

然后配置instance，找到/conf/example/instanceproperties配置文件：

经过上述配置后，就可以启动canal了。

测试

环境搭建完成后，就可以编写代码进行测试。

1、引入pom依赖

2、封装Redis工具类

在applicationyml文件增加以下配置：

封装一个 *** 作Redis的工具类：

3、创建MQ消费者进行同步

创建一个CanalBean对象进行接收：

最后就可以创建一个消费者CanalConsumer进行消费：

测试Mysql与Redis同步

mysql对应的表结构如下：

启动项目后，新增一条数据：

可以在控制台看到以下输出：

如果更新呢？试一下Update语句：

同样可以在控制台看到以下输出：

经过测试完全么有问题。

总结

既然canal这么强大，难道就没缺点嘛？答案当然是存在的啦，比如：canal只能同步增量数据、不是实时同步而是准实时同步、MQ顺序问题等； 尽管有一些缺点，毕竟没有一样技术或者产品是完美的，最重要是合适。比如公司目前有个视图服务提供宽表搜索查询功能就是通过 同步Mysql数据到Es采用Canal+Kafka的方式来实现的。

以上就是关于时序数据库和结构化的关系全部的内容，包括:时序数据库和结构化的关系、canal+Kafka实现mysql与redis数据同步、等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！