Java实现一致性hash算法

Java实现一致性hash算法 数据迁移

当缓存集群增加节点之后，如果直接将流量迁移到新节点，此时新节点上没有数据，这时候落到新节点上的数据读请求便会出现数据读取不到的情况，假若缓存的数据逻辑复杂，则可能会出现短暂性的服务响应慢的情况（因为需要重新计算数据，写入缓存），所以这种情况下，适合对数据做迁移之后再将读取流量迁移到新节点。

那该如何做到平滑的迁移呢？

以下方案，未经过实际 *** 作，仅是自己思路，仅供参考。

数据迁移过程中需要关注的点：

1. 迁移过程数据不丢失

2. 迁移过程中不影响线上服务，不能存在数据不一致的情况。

基本的步骤如下：

1. 数据首先双写，新数据同时写到新旧节点上，但读取依旧只从旧节点读取，新节点只提供写入，不提供读取 *** 作，所以一段时间内，旧节点的数据量不会变小。

2. 线上双写之后，开始做离线数据迁移，此时在某个时间节点上开始做，仅做截止到某个时间节点的数据迁移，迁移到新节点，比如，假如10点整开始离线数据迁移，可以只迁移截止到10点整的数据，10点之后的数据暂不做离线迁移。（其实10点后的数据已经没必要迁移，因为之前已做双写 *** 作，新数据已经在新节点上存在）

3. 离线迁移完成之后，将线上双写下掉，同时将读 *** 作切换到新节点即可。

4. 补充步骤，读写 *** 作都切换到新节点之后，旧节点数据可做部分的删除 *** 作，释放下空间。