大数据底层架构

后台架构设计—数据存储层

数据存储重要性:

它是数据公司最关键的财富；

数据健壮性是公司的命脉，所以必须对端口进行大修。

独立存储原则:

存储引擎:存储系统的引擎，决定了存储系统的功能战斗机能力；

场景:哈希存储引擎、B树存储引擎、LSM存储引擎

哈希引擎:根据哈希表结构:数组链表；支持CreateUpdateDelete任意读取

B树存储引擎:根据B树实际，支持每条记录的凝乳，支持广泛搜索。RDBMS应用广泛。

LSM树存储引擎:调整删除数据节省运行内存，达到一定前提条件后批量更新到硬盘；缺点已经大量写出；优点:已用于读取和需要企业合并硬盘和运行内存；

阻止运行内存数据丢失:调整控件以写入CommitLog日志。

数据模板:

文档:在目录树结构中，如linux、mac、windows

关系类型:每个关系都是一个报表，由两个以上的列组成；

键值(key-value):memcached，tokey，redis

列类型:Casadra，Hbase

图形数据库:二级、信息网格、无限图形

文本类型:MongoDB，CouchDB

拿取和接收恶性事件的把握:

恶性事件的四个根本特征:酸书H、矛盾性、果断性、可用性。

并抓住:

锁粒度分布:process-->:dB->；表->；排

提供和接收读取，并且没有针对读取的锁减少:写入和写入复制，MVCC

数据对账:全程控制的日记。

多机存储原理:

单机存储多机存储后仍可使用；多级存储以单机存储为基础；

数据传播:

几个节点已经铺开，节点间的后负荷均衡；

传播方式:

静态数据:modulo和uid2

静态数据:矛盾哈希，数据改变测试分数(A段升级前出现问题，升级迁移到B段后问题被规范)；

复制:

分散储存几个团；维修口牢固，可战时使用；提交日志.

问题检查:

机器造心率，数据迁移，问题修改；

FLP法律的概念:

FLP不可能(FLP不可能):

即使一个过程失败了，也有办法修复非失败过程的矛盾。

CAP法的概念:

CAP:网络分区的一致性、可用性、容忍度。

矛盾战争的可用性需要适当的考虑。

分布式存储系统需要主动容错机制，即道路系统的分区容错需要一个访问端口。

2PC(两阶段承诺)和平谈判的概念:

用于传播恶性事件；

有两种节点表面:

和谐(一)；

恶性事件的现场人员(几名)；

两个链接:

乞求环节:和事佬告诉出席者准备提交或消除恶性事件，所有出席者要求决议批准差额。

提交链接:

所有方案由在场者决定后，和事佬终止决定(提交或淘汰)；

通知与会者进行控制，如果所有与会者都同意，则提交控制，否则取消控制；

控制应在和平缔造者通知参与者之后进行。

2PC和谈是一场不公开的审判:

恶性事件的存在会引起问题。

-设置超时时间；

和平谈判者可能会生病。

-日记，留给和平。

应用:交易订单等。

Paxos和谈需要想法:

角色:

解决板块之间相互矛盾的考试成绩；

如果主节点丢失，选择新节点；

主要部分往往是通过控制日记的情况来准备的。

有两个角色:发起者(Prpposer)和接受者(Acceptor)；

实施速度:

审批:提议者收到接受声音向接受者请求某个发起者；

确认:如果超过一半的接受者承担责任，该值将被杀死，提议者将收到确认音，通知所有被杀死的接受者。

请比较2PC:

2p笔记本H控制在和谈接入端口的几个数据块上；

Paxos和平谈判接入点；一个数据块被分成若干组；其中数据矛盾；

Paxos和平谈判方法:

现在齐针局的锁服务是关于命名战设定服务；

-阿帕奇动物园管理员

将客户数据复制到几个数据的中间；

-谷歌超级商店

剩余的数据存储层:

几组书，而且真的很好用。

如何做到真实:

数据重建:

根据日记；

主从:mysqlMongoDB

副本集:MongoDB

写:

存储多主对等结构；智能，但数据控制模块层成本更低；

数据备份数据:

热备份:

按时将数据复制到某个存储介质上，是传统的数据保护手腕；

优点:简单，性价比高，技能低；

缺点:按时存储的数据不一致；复杂数据时间较少；

热备份:

在线备份数据；提供更强的可用性；

热备份:

从主存储中写入，即返回到应用端，由存储系统写入其他群书；

热备份:

几个数据组写在同一个本子上，没有主从关系；

开发功能，应用法式风格并融入其中；

提前出发的是最慢的服务器；

数据存储层有效迁移的机制:

确定效果:服务器是否宕机，心率；

满足:满足路由器到非服务器停机机械设备；存储细节矛盾；

数据恢复:主从关系，日记；

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/zz/768672.html