如何看待yandex开源clickhouse这个列式文档数据库

如何看待yandex开源clickhouse这个列式文档数据库,第1张

Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。如果你没有听过Vertica,那你一定听过 Michael Stonebraker,2014年图灵奖的获得者,PostgreSQL和Ingres发明者(Sybase和SQL Server都是继承 Ingres而来的), Paradigm4和SciDB的创办者。Michael Stonebraker于2005年创办Vertica公司,后来该公司被HP收购,HP Vertica成为MPP列式存储商业数据库的高性能代表,Facebook就购买了Vertica数据用于用户行为分析。

简单的说,ClickHouse作为分析型数据库,有三大特点:一是跑分快, 二是功能多 ,三是文艺范

1 跑分快: ClickHouse跑分是Vertica的5倍快:

ClickHouse性能超过了市面上大部分的列式存储数据库,相比传统的数据ClickHouse要快100-1000X,ClickHouse还是有非常大的优势:

100Million 数据集:

ClickHouse比Vertica约快5倍,比Hive快279倍,比My SQL快801倍

1Billion 数据集:

ClickHouse比Vertica约快5倍,MySQL和Hive已经无法完成任务了

2 功能多:ClickHouse支持数据统计分析各种场景

- 支持类SQL查询,

- 支持繁多库函数(例如IP转化,URL分析等,预估计算/HyperLoglog等)

- 支持数组(Array)和嵌套数据结构(Nested Data Structure)

- 支持数据库异地复制部署

3文艺范:目前ClickHouse的限制很多,生来就是为小资服务的

- 目前只支持Ubuntu系统

- 不提供设计和架构文档,设计很神秘的样子,只有开源的C++源码

- 不理睬Hadoop生态,走自己的路

随着互联网的不断发展,有时候企业需要使用不同的开源数据库来搭建自己的在线平台。

下面我们就一起来了解一下,在选择数据库的时候我们都有哪些方法可以使用。

有一个明确的目标这一点看似简单,但在和很多人聊过MySQL、MongoDB、PostgreSQL之后,我觉得这一点才是重要的。

面对繁杂的开源数据库,更需要明确自己的目标。

无论这个数据库是作为开发用的标准化数据库后端,抑或是用于替换遗留代码中的原有数据库,这都是一个明确的目标。

目标一旦确定,就可以集中精力与开源软件的提供方商讨更多细节了。

了解你的工作负载尽管开源数据库技术的功能越来越丰富,但这些新加入的功能都不太具有普适性。

譬如MongoDB新增了事务的支持、MySQL新增了JSON存储的功能等等。

目前开源数据库的普遍趋势是不断加入新的功能,但很多人的误区却在于没有选择适合的工具来完成自己的工作——这样的人或许是一个自大的开发者,又或许是一个视野狭窄的主管——终导致公司业务上的损失。

致命的是,在业务初期,使用了不适合的工具往往也可以顺利地完成任务,但随着业务的增长,很快就会到达瓶颈,尽管这个时候还可以替换更合适的工具,但成本就比较高了。

例如,如果你需要的是数据分析仓库,关系数据库可能不是一个适合的选择;如果你处理事务的应用要求严格的数据完整性和一致性,就不要考虑NoSQL了。

不要重新发明轮子在过去的数十年,开源数据库技术迅速发展壮大。

开源数据库从新生,到受到质疑,再到受到认可,现在已经成为很多企业生产环境的数据库。

企业不再需要担心选择开源数据库技术会产生风险,因为开源数据库通常都有活跃的社区,可以为越来越多的初创公司、中型企业甚至500强公司提供开源数据库领域的支持和三方工具。

先从简单开始你的数据库实际上需要达到多少个9的可用性对许多公司来说,“实现高可用性”仅仅只是一个模糊的目标。

当然,常见的答案都会是“它是关键应用,我们无论多短的停机时间都是无法忍受的”。

美兰IT培训>

如何看待国产数据库SequoiaDB开源

总的来说,我认为有几点吧

1)相比mongo还是有中文的齐全文档,作为中国的码农。。英文文档看得还是头疼啊。

2)应该说开源社区这边的支持还是比较快速的,在群里提问基本当天都会有人回答,然后在刚开始配置和对接程序的时候原厂的同学还在区里手把手教了我们的工程师。。还是很给力的

3)总体上说使用和迁移转换时候不会不上手,不过现在据说多了SQL的支持,还没有尝试过,听起来很厉害的样子,不过他们原生的 *** 作语句也还是很好理解的

如何看待yandex开源clickhouse这个列式文档数据库

Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。如果你没有听过Vertica,那你一定听过 Michael Stonebraker,2014年图灵奖的获得者,PostgreSQL和Ingres发明者(Sybase和SQL Server都是继承 Ingres而来的), Paradigm4和SciDB的创办者。Michael Stonebraker于2005年创办Vertica公司,后来该公司被HP收购,HP Vertica成为MPP列式存储商业数据库的高性能代表,Facebook就购买了Vertica数据用于用户行为分析。

简单的说,ClickHouse作为分析型数据库,有三大特点:一是跑分快, 二是功能多 ,三是文艺范

1 跑分快: ClickHouse跑分是Vertica的5倍快:

ClickHouse性能超过了市面上大部分的列式存储数据库,相比传统的数据ClickHouse要快100-1000X,ClickHouse还是有非常大的优势:

100Million 数据集:

ClickHouse比Vertica约快5倍,比Hive快279倍,比My SQL快801倍

1Billion 数据集:

ClickHouse比Vertica约快5倍,MySQL和Hive已经无法完成任务了

2 功能多:ClickHouse支持数据统计分析各种场景

- 支持类SQL查询,

- 支持繁多库函数(例如IP转化,URL分析等,预估计算/HyperLoglog等)

- 支持数组(Array)和嵌套数据结构(Nested Data Structure)

- 支持数据库异地复制部署

3文艺范:目前ClickHouse的限制很多,生来就是为小资服务的

- 目前只支持Ubuntu系统

- 不提供设计和架构文档,设计很神秘的样子,只有开源的C++源码

- 不理睬Hadoop生态,走自己的路

如何看待阿里巴巴宣布开放开源AliSQL数据库

其实有点类似,谷歌开放安卓系统给大家免费用,

某些技术别人要模仿不难,而且专利有效期也不长,

谷歌可能觉得还不如一下子公开了,大家一起弄,能迅速占领市场

如何看待黑客入侵数据库

内网。内鬼和外面的黑客一起合作搞的。内鬼的话就比较容易了。

如何看待美国研发的数据库TokuDB

测试过 TokuMX, 性能确实不错,但稳定性堪忧,mongodb 30 后引入了 wiredtiger engine,与 tokumx 差距缩小了

研究过 TokuMX 和 TokuDB 用的索引数据结构,很巧妙的设计,虽然树的深度加倍了,但插入时间确实大幅度降低了。

最后没有采用。

如何看待免费开源CRM

免费开源CRM基本上很难满足企业的实际业务需求,可以考虑一款支持用户个性化定制的CRM,百会的CRM就不错,它可以根据用户需求,在最短时间内定制出来并让用户看到效果。满意之后再付费,没有后顾之忧。定制工具简单,定制速度快。用户完全可以自己 *** 作去满足未来业务的变化。另外它基于SAAS模式的在线租用形势,可以为企业节省购买硬件、安装调试、后期升级的费用成本。定期的售后回访还可以解决不少使用中的问题。

如何看待Facebook已开源React Native

React Native项目成员Tom Ohino发表的React Native: Bringing modern web techniques to mobile(墙外地址)详细描述了React Native的设计理念。Ohino认为尽管Native开发成本更高,但现阶段Native仍然是必须的,因为Web的用户体验仍无法超越Native:

1 Native的原生控件有更好的体验;

2 Native有更好的手势识别;

3 Native有更合适的线程模型,尽管Web Worker可以解决一部分问题,但如图像解码、文本渲染仍无法多线程渲染,这影响了Web的流畅性。

Ohino没提到的还有Native能实现更丰富细腻的动画效果,归根结底是现阶段Native具有更好的人机交互体验。笔者认为这些例子是有说服力的,也是React Native出现的直接原因。

图3 - Ohino在F8分享了React Native(Keynote)

Learn once, write anywhere

“Learn once, write anywhere”同样出自Ohino的文章。因为不同Native平台上的用户体验是不同的,React Native不强求一份原生代码支持多个平台,所以不提“Write once, run anywhere”(Java),提出了“Learn once, write anywhere”。

图4 - “Learn once, write anywhere”

这张图是笔者根据理解画的一张示意图,自下而上依次是:

1 React:不同平台上编写基于React的代码,“Learn once, write anywhere”。

2 Virtual DOM:相对Browser环境下的DOM(文档对象模型)而言,Virtual DOM是DOM在内存中的一种轻量级表达方式(原话是ligheight representation of the document),可以通过不同的渲染引擎生成不同平台下的UI,JS和Native之间通过Bridge通信(React Native通信机制详解 « bang’s blog)。

3 Web/iOS/Android:已实现了Web和iOS平台,Android平台预计将于2015年10月实现(Blog | React)。

前文多处提到的React是Facebook 2013年开源的Web开发框架,笔者在翻阅其发布稿时,发现这么一段:

图5 - 摘自React发布稿(2013)

1 加亮文字显示2013年已经在开发React Native的原型,现在也算是厚积薄发了。

2 最近另一个比较火的项目是Flipboard/react-canvas · GitHub(详见 @rank),渲染层使用了Web Canvas来提升交互流畅性,这和上图第一个尝试类似。

React本身也是个庞大的话题不再展开,详见facebook/react Wiki · GitHub。

笔者认为“Write once, run anywhere”对提升效率仍然是必要的,并且和“Learn once, write anywhere”也没有冲突,我们内部正在改造已有的组件库和HybridAPI,让其适配(补齐)React Native的组件,从而写一份代码可以运行在iOS和Web上,待成熟后开源出来。

持续更新

二、规划

下图展示了业务和技术为React Native所做的改造:

图6 - 业务和技术改造图6 - 业务和技术改造

自下而上:

1 React Node:React支持服务端渲染,通常用于首屏服务端渲染;典型场景是多页列表,首屏服务端渲染翻页客户端渲染,避免首次请求页面时发起2次请求。

2 React Native基础环境:

21 Framework集成:尽管React Native放出了Integration with Existing App文档,集成到现有复杂App中仍然会遇到很多细节问题,比如集成到天猫iPad客户端就花了组里iOS同学2天的时间。

22 Neorking改造:主要是重新建立session,而session通常存放于 header cookie中,React Native提供的网络IO fetch和XML>

NoSQL,泛指非关系型的数据库。随着互联网web20网站的兴起,传统的关系数据库在应付web20网站,特别是超大规模和高并发的SNS类型的web20纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。

虽然NoSQL流行语火起来才短短一年的时间,但是不可否认,现在已经开始了第二代运动。尽管早期的堆栈代码只能算是一种实验,然而现在的系统已经更加的成熟、稳定。不过现在也面临着一个严酷的事实:技术越来越成熟——以至于原来很好的NoSQL数据存储不得不进行重写,也有少数人认为这就是所谓的20版本。这里列出一些比较知名的工具,可以为大数据建立快速、可扩展的存储库。

NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储,相对于铺天盖地的关系型数据库运用,这一概念无疑是一种全新的思维的注入。

NoSQL数据库在以下的这几种情况下比较适用:1、数据模型比较简单;2、需要灵活性更强的IT系统;3、对数据库性能要求较高;4、不需要高度的数据一致性;5、对于给定key,比较容易映射复杂值的环境。

以上就是关于如何看待yandex开源clickhouse这个列式文档数据库全部的内容,包括:如何看待yandex开源clickhouse这个列式文档数据库、北大青鸟设计培训:开源数据库的选择方法、如何看待国产数据库SequoiaDB开源等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/sjk/10194939.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-06
下一篇 2023-05-06

发表评论

登录后才能评论

评论列表(0条)

保存