很多国产数据库乘风破浪
我们正处在一个数据库技术大爆炸的时代。
这几年,NoSQL数据库、NewSQL数据库、时序数据库、图数据库、分布式数据库、超融合数据库等专业数据库技术发展势头很猛,国产数据库的表现也相当亮眼。
过去十年,是互联网发展的黄金十年。与此对应的是业务系统访问并发呈指数级上升,海量数据计算和分析需求越来越普遍,传统单机系统在业务支撑、成本、开放性等方面均面临巨大挑战,数据库垂直扩展模式难以维护等困境。
眼看着数据库性能瓶颈快要扼住发展的喉咙,摆在这些长久依赖Oracle、IBM等传统数据库的巨头们面前的,只有两条路:要么开启无限加量的PLUS模式,即更换更多更强的服务器、硬盘、内存、CPU等,要么自研能满足业务发展需求的数据库。
开拓者们的眼光一开始就聚焦在更长远的未来,他们发现即便是系统变成真正的“傻大粗”,也只是解了燃眉之急,不能从源头解决问题。
再看一眼像Oracle、IBM等传统数据库高昂的拓容价格,像阿里这样的富一代也吃不消哇!
那么,自研数据库,走起!
2010年后,云计算和开源社区兴起,国产数据库开始了弯道超车。
2019年被认为是国产数据库的元年。
这一年,众多国产数据库产品闯入了我们的视线,热度不断攀升;这一年,OceanBase登顶TPCC,并于一年后再次刷新自己的记录。
从刀耕火种到摘下Oracle在数据库领域的皇冠,国产数据库经历的是一段不被理解和不被看好的岁月。
在国外数据库先驱长期占据市场优势的情况下,国产数据库要想杀出重围,一是要付出多倍努力,二是要拿出更强的产品才能在客户面前更有底气。
当然,国产数据库发展至今,已然是百花齐放。未来,国产数据库的发展趋势相对也比较明显,即往云原生和分布式发展。
金融级分布式数据库应运而生
数字时代,数据成为各家必争之地。
在金融应用场景下,国内数据库市场于近几年开始发生变化。
随着应用层和业务层的压力加大,金融机构对分布式技术架构转型的需求应运而生。
作为软件系统的三大底层技术( *** 作系统、中间件、数据库)之一,数据库成为系统往分布式架构转型的枢纽。
不过,在早年国外传统数据库厂商盘根错节的“蚕食”下,这个核心变得又硬又难啃!
面对如今市场的需求变化,传统数据库系统呈现出一个通病:又笨重又贵。
再是,随着诸如2013年“棱镜门”事件的爆发,各界越来越重视数据安全和技术自主可控。
此外,金融机构对快速、灵活、可伸缩性、创新、敏捷等开发能力需求大大提升,出于对长期IT建设的成本考虑,自主可控更是成为他们出于自身长远发展考量的刚需。
数字化时代,金融机构的整体架构正处于往分布式、云原生、微服务等方向发展的关键时刻,数据库的选型便显得至关重要。
根据中国人民银行发布的《金融 科技 (FinTech)发展规划(2019-2021年)》,我国将有计划、分步骤地稳妥推动分布式数据库产品先行先试,形成可借鉴、能推广的典型案例和解决方案,为分布式数据库在金融领域的全面应用探明路径,确保分布式数据库在金融领域稳妥应用。
目前已有不少业界实践证明了分布式数据库应用于金融场景的可靠性。同时,金融级分布式数据库云化已经在路上。
不是西风压倒东风,而是东风压倒西风!
最近, 马来西亚电商巨头PrestoMall宣布,公司已抛弃甲骨文数据库,转而采用阿里云自主研发的POLARDB云数据库。
为什么要和阿里云POLARDB云数据库牵手?效率更高,成本还更低!
事实上,早在去年12月初,PrestoMall已经完成数据库向阿里云POLARDB的整体迁移,迁移后PrestoMall的整体业务运转流畅,IT成本还下降了40%以上。
而相比于阿里的POLARDB云数据库,甲骨文提供的传统数据库太贵了,也太落后了。
作为马来西亚的第二大电商巨头,PrestoMall这几年发展迅速,3年来的营收增长超过250%,线上流量更是井喷式上涨;这时,PrestoMall却发现一个悲哀的现实:老迈的甲骨文数据库已经有些支撑不起公司的业务发展了,长此以往,公司的整体业务会因为数据库管理落后而拉大和第一大电商lazada的差距。
而已经被阿里收购的商lazada的IT数据为什么运转得那么出色?lazada的整体业务全部搬到阿里云上了啊!
为此, PrestoMall决心跳出甲骨文这个大坑,经过多次考察后,最终选择了和阿里云POLARDB云数据库合作。
因为对于PrestoMall这样的电商巨头而言,阿里POLARDB云数据库的优势非常明显:它采用存储计算分离、软硬件一体化设计,天生是为满足电商业务等大规模业务场景而来的:2019年双11当天,POLARDB创下了每秒8700万次的数据库处理峰值新记录。
在刚刚过去的第十届中国数据库技术大会上,荣获世界 科技 大奖的阿里云POLARDB再次获选“年度最佳创新产品”,实力吊打甲骨文数据库。
PrestoMall此时弃甲骨文数据库而就阿里POLARDB云数据库,不失为一种明智的选择。
如今, 时代的发展如风驰电掣,仿佛就在昨天,甲骨文还是那么的无敌于天下!
上世纪70年代,此前一直为中央情报局设计Oracle数据库的拉里·埃里森创立了“软件开发实验室”,随后,因为那篇著名的数据库论文,拉里·埃里森就以甲骨文数据库为公司的数据库命名。
公司迁入硅谷后,甲骨文的业务获得高速增长,客户中就包括埃里森此前的老雇主中情局。1984年左右,甲骨文进军全球十多个发达国家和地区,并于1986年上市,上市当年,甲骨文的年收入达到5500万美元。
1988年,甲骨文的营收超过1亿美元,成为全球第四大软件巨头。几年后,创始人拉里·埃里森成为仅次于比尔盖茨的世界第二富人。
2000年,世界软件领域的基本格局还是微软、IBM、甲骨文三足鼎立。 到了2013年,甲骨文一举超越IBM,成为仅次于微软的全球第二大软件巨头。
当时,全球所有的互联网巨头,都离不开甲骨文的数据库,比如说,阿里巴巴,它是甲骨文在亚洲的最大客户。
甲骨文业务上的成功也为拉里·埃里森带来巨大的财富,他花在购买游艇、私人飞机上的资本高达数十亿美元, 这哥们平时都是驾着米格29战斗机上班,够拽酷了吧?
2018年的福布斯全球富豪榜上,拉里·埃里森以4200亿美元的身家排在全球第7,个人财富是马云、马化腾的15倍。
但是最近这几年,因为拉里·埃里森对云计算的短视,全球数据库市场的形势开始急转直下。
在甲骨文数据库称霸全球时,谷歌、亚马逊、阿里巴巴先后开始 探索 云计算技术。
面对对手们的积极转型,拉里·埃里森还是不以为意,因为甲骨文在数据库方面的优势太大了,像马云所说的:“拿着望远镜也找不到对手”。拉里·埃里森还口出狂言:云计算?我完全搞不懂这些家伙在说些什么,简直是一派胡言!
当别人积蓄全力准备反戈一击、立志取代甲骨文的时候,拉里·埃里森还陶醉在过去的旧梦中不愿醒来,人世间最恐怖的事,莫过于此了!
而正是拉里·埃里森在云计算方面的迟钝和轻视,给了其他友军脱颖而出的机会,追不上形势的甲骨文则开始由盛转衰。
多年后,亚马逊AWS成为全球最大的云计算公司,在亚洲,“不务正业”的王坚领导下的阿里云也在2013年研发出能完美驾驭5000台服务器的“飞天系统”,这意味着偌大的阿里巴巴集团从此再也不需要甲骨文数据库了。
2016年左右,拉里·埃里森终于回过神来,开始布局云计算,但为时已晚:亚马逊AWS已绝尘而去,微软、阿里云在全球范围也在无情吞食甲骨文数据库的市场份额。与此同时,因为公司业务向云计算的全面转型,甲骨文不得不在营收大幅下滑的情况下,还要在全球范围里大规模裁员,以集中优势资源提升云计算业务。
在此过程中,甲骨文不断被一个个重要客户抛弃,最后,连股神巴菲特也决定放弃它了。
2018年下半年,巴菲特曾买入了价值21亿美元的甲骨文股票,但是在持有其股票仅几个月后,巴菲特就将甲骨文股票悉数抛出,这样的 *** 作对于巴菲特是非常罕见的,说明连巴菲特已经看衰甲骨文了:我们知道巴菲特买股票有一个鲜明的特点,买了后就长期持有,从不考虑短期持有,比如说可口可乐,苹果等股票,有些都是长期持有达数十年的。
甲骨文这些年的经历也说明: 这是一个其兴也勃焉、其亡也忽焉的裂变时代,在这个不断变化的时代,你要么优秀,要么出局!
未来,大数据、云计算、AI将成为驱动 社会 发展的核心引擎,那些在自主 科技 的尖端跳舞的公司:亚马逊AWS、阿里云、华为5G、特斯拉新能源车它们将以自己的勇气重塑这个世界。
同时,那些看不到未来已来的人,将被这个时代狠狠抛弃!
作者:电商君
淘宝开源的TDDL和cobar的结合,放到了阿里云上就是DRDS,是商品,服务,可以购买使用的。可以在阿里云官网上注册免费试用。
=====================================================
随着互联网时代的到来,计算机要管理的数据量呈指数级别地飞速上涨,而我们却完全无法对用户数做出准确预估。我们的系统所需要支持的用户数,很可能在短短的一个月内突然爆发式地增长几千倍,数据也很可能快速地从原来的几百GB飞速上涨到了几百个TB。如果在这爆发的关键时刻,系统不稳定或无法访问,那么对于业务将会是毁灭性的打击。
伴随着这种对于系统性能、成本以及扩展性的新需要,以HBase、MongoDB为代表的NoSQL数据库和以阿里DRDS、VoltDB、ScaleBase为代表的分布式NewSQL数据库如雨后春笋般不断涌现出来。
本文将会介绍阿里DRDS的技术理念、发展历程、技术特性等内容。
DRDS设计理念
从20世纪70年代关系数据库创立开始,其实大家在数据库上的追求就从未发生过变化:更快的存取数据,可以按需扩缩以承载更大的访问量和更大的数据量,开发容易,硬件成本低,我们可以把这叫做数据库领域的圣杯。
为了支撑更大的访问量和数据量,我们必然需要分布式数据库系统,然而分布式系统又必然会面对强一致性所带来的延迟提高的问题,因为网络通信本身比单机内通信代价高很多,这种通信的代价就会直接增加系统单次提交的延迟。延迟提高会导致数据库锁持有时间变长,使得高冲突条件下分布式事务的性能不升反降(这个具体可以了解一下Amdahl定律),甚至性能距离单机数据库都还有明显的差距。
从上面的说明,我们可以发现,问题的关键并不是分布式事务做不出来,而是做出来了却因为性能太差而没有什么卵用。数据库领域的高手们努力了40年,但至今仍然没有人能够很好地解决这个问题,Google Spanner的开发负责人就经常在他的Blog上谈论延迟的问题,相信也是饱受这个问题的困扰。
面对这个难题,传统的关系数据库选择了放弃分布式的方案,因为在20世纪70~80年代,我们的数据库主要被用来处理企业内的各类数据,面对的用户不过几千人,而数据量最多也就是TB级别。用单台机器来处理事务,用个磁盘阵列处理一下磁盘容量不够的问题,基本上就能解决一切问题了。
然而,信息化和互联网的浪潮改变了这一切,我们突然发现,我们服务的对象发生了根本性变化,从原来的几千人,变成了现在的几亿人,数据量也从TB级别到了PB级别甚至更多。存在单点的单机系统无论如何努力,都会面对系统处理能力的天花板。原来的这条路,看起来是走不下去了,我们必须想办法换一条路来走。
可是,分布式数据库所面对的强一致性难题却像一座高山,人们努力了无数个日日夜夜,但能翻越这座山的日子看来仍然遥遥无期。
于是,有一群人认为,强一致性这件事看来不怎么靠谱,那彻底绕开这个问题是不是个更好的选择?他们发现确实有那么一些场景是不需要强一致事务的,甚至连SQL都可以不要,最典型的就是日志流水的记录与分析这类场景。而去掉了事务和SQL,接口简单了,性能就更容易得到提升,扩展性也更容易实现,这就是NoSQL系统的起源。
虽然NoSQL解决了性能和扩展性问题,但这种绕开问题的方法给用户带来了很多困扰,系统的开发成本也大大提升。这时候就有另外一群人,他们觉得用户需要SQL,觉得用户也需要事务,问题的关键在于我们要努力地往圣杯的方向不断前进。在保持系统的扩展性和性能的前提下,付出尽可能小的代价来满足业务对数据库的需要。这就是NewSQL这个理念的由来。
DRDS也是一个NewSQL的系统,它与ScaleBase、VoltDB等系统类似,都希望能够找到一条既能保持系统的高扩展性和高性能,又能尽可能保持传统数据库的ACID事务和SQL特性的分布式数据库系统。
DRDS发展历程
在一开始,TDDL的主要功能就是做数据库切分,一个或一组SQL请求提交到TDDL,TDDL进行规则运算后得知SQL应该被分发到哪个机器,直接将SQL转发到对应机器即可(如图1)。
图1 TDDL数据库切分
开始的时候,这种简单的路由策略能够满足用户的需要,我们开始的那些应用,就是通过这样非常简单的方式完成了他所有的应用请求。我们也认为,这种方案简单可靠,已经足够好用了。
然而,当我们服务的应用从十几个增长到几百个的时候,大量的中小应用加入,大家纷纷表示,原来的方案限制太大,很多应用其实只是希望做个读写分离,希望能有更好的SQL兼容性。
于是,我们做了第一次重大升级,在这次升级里,我们提出了一个重要的概念就是三层架构,Matrix对应数据库切分场景,对SQL有一定限制,Group对应读写分离和高可用场景,对SQL几乎没有限制。如图2所示。
图2 数据库升级为三层架构
这种做法立刻得到了大家的认可,TDDL所提供的读写分离、分库分表等核心功能,也成为了阿里集团内数据库领域的标配组件,在阿里的几乎所有应用上都有应用。最为难得的是,这些功能从上线后,到现在已经经历了多年双11的严酷考验,从未出现过严重故障(p0、p1级别故障属于严重故障)。数据库体系作为整个应用系统的重中之重,能做到这件事,真是非常不容易。
随着核心功能的稳定,自2010年开始,我们集中全部精力开始关注TDDL后端运维系统的完善与改进性工作。在DBA团队的给力配合下,围绕着TDDL,我们成功做到了在线数据动态扩缩、异步索引等关键特征,同时也比较成功地构建了一整套分布式数据库服务管控体系,用户基本上可以完全自助地完成整套数据库环境的搭建与初始化工作。
大概是2012年,我们在阿里云团队的支持下,开始尝试将TDDL这套体系输出到阿里云上,也有了个新的名字:阿里分布式数据库服务(DRDS),希望能够用我们的技术服务好更多的人。
不过当我们满怀自信地把自己的软件拿到云上的时候,却发现我们的软件距离用户的要求差距很大。在内部因为有DBA的同学们帮助进行SQL review,所以SQL的复杂度都是可控的。然而到了云上,看了各种渠道提过来的兼容性需求,我们经常是不自觉地发出这样的感叹:“啊?原来这种语法MySQL也是可以支持的?”
于是,我们又进行了架构升级,这次是以兼容性为核心目标的系统升级工作,希望能够在分布式场景下支持各类复杂的SQL,同时也将阿里这么多年来在分布式事务上的积累都带到了DRDS里面。
这次架构升级,我们的投入史无前例,用了三年多才将整个系统落地完成。我们先在内部以我们自己的业务作为首批用户上线,经过了内部几百个应用的严酷考验以后,我们才敢拿到云上,给到我们的最终用户使用。
目前,我们正在将TDDL中更多的积累输出到云上,同时也努力优化我们的用户界面。PS:其实用户界面优化对我们这种专注于高性能后端技术的团队来说,才是最大的技术挑战,连我也去学了AngularJS,参与了用户UI编。
DRDS主要功能介绍
发展历史看完了,下面就由我来介绍一下目前我们已经输出到云上的主要功能。
分布式SQL执行引擎
分布式SQL引擎主要的目的,就是实现与单机数据库SQL引擎的完全兼容。目前我们的SQL引擎能够做到与MySQL的SQL引擎全兼容,包括各类join和各类复杂函数等。他主要包含SQL解析、优化、执行和合并四个流程,如图3中绿色部分。
图3 SQL引擎实现的主要流程
虽然SQL是兼容的,但是分布式SQL执行算法与单机SQL的执行算法却完全不同,原因也很简单,网络通信的延迟比单机内通信的延迟大得多。举个例子说明一下,我们有份文件要从一张纸A上誊写到另外一张纸B上,单机系统就好比两张纸都在同一个办公室里,而分布式数据库则就像是一张纸在北京,一张纸在杭州。
自然地,如果两张纸在同一个办公室,因为传输距离近,逐行誊写的效率是可以接受的。而如果距离是北京到杭州,用逐行誊写的方式,就立刻显得代价太高了,我们总不能看一行,就打个“飞的”去杭州写下来吧。在这种情况下,还是把纸A上的信息拍个照片,一整批的带到杭州去处理,明显更简单一些。这就是分布式数据库特别强调吞吐调优的原因,只要是涉及到跨机的所有查询,都必须尽可能的积攒一批后一起发送,以减少系统延迟提高带来的不良影响。
按需数据库集群平滑扩缩
DRDS允许应用按需将新的单机存储加入或移出集群,DRDS则能够保证应用在迁移流程中实现不停机扩容缩容。
图4 DRDS按需进行平滑扩缩
在内部的数据库使用实践中,这个功能的一个最重要应用场景就是双11了。在双11之前,我们会将大批的机器加入到我们的数据库集群中,抗过了双11,这批机器就会下线。
当DRDS来到云上,我们发现双11其实不仅仅只影响阿里内部的系统。在下游的各类电商辅助性系统其实也面对巨大压力。在双11前5天,网聚宝的熊总就找到我说,担心撑不过双11的流量,怕系统挂。于是我们就给他介绍了这个自动扩容的功能怎么用,他买了一个月的数据库,挂接在DRDS上。数据库能力立刻翻倍,轻松抗过了双11,也算是我印象比较深刻的一个案例了。
因为我们完全无法预测在什么时间点系统会有爆发性的增长,而如果在这时候系统因为技术原因不能使用,就会给整个业务带来毁灭性的影响,风口一旦错过,就追悔莫及了。我想这就是云计算特别强调可扩展能力的原因吧。
小表广播
小表广播也是我们在分布式数据库领域内最常用的工具之一,他的核心目的其实都是一个——尽可能让查询只发生在单机。
让我们用一个例子来说明,小表广播的一般使用场景。
图5 小表广播场景
图5中,如果我想知道买家id等于0的用户在商城里面买了哪些商品,我们一般会先将这两个表join起来,然后再用where平台名=”商城” and buyerID = 0找到符合要求的数据。然而这种join的方式,会导致大量的针对左表的网络I/O。如果要取出的数据量比较大,系统延迟会明显上升。
这时候,为了提升性能,我们就必须要减少跨机join的网络代价。我们比较推荐应用做如下处理,将左表复制到右表的每一个库上。这样,join *** 作就由分布式join一下变回到本地join,系统的性能就有很大的提升了,如图6所示。
图6
分布式事务套件
在阿里巴巴的业务体系中存在非常多需要事务类的场景,下单减库存,账务,都是事务场景最集中的部分。
而我们处理事务的方法却和传统应用处理事务的方案不大一样,我们非常强调事务的最终一致性和异步化。利用这种方式,能够极大地降低分布式系统中锁持有的时间,从而极大地提升系统性能。
图7 DRDS分布式事务解决套件
这种处理机制,是我们分布式事务能够以极低成本大量运行的最核心法门。在DRDS平台内,我们将这些方案产品化,为了DRDS的分布式事务解决套件。
利用他们,能够让你以比较低的成本,实现低延迟,高吞吐的分布式事务场景。
DRDS的未来
阿里分布式数据库服务DRDS上线至今,大家对这款产品的热情超出了我们的预期,短短半年内已经有几千个申请。
尽管还在公测期,但是大家就已经把关系到身家性命的宝贵在线数据业务放到了DRDS上,我能够感受到这份沉甸甸的信赖,也不想辜负这份信赖。
经过阿里内部几千个应用的不断历练,DRDS已经积累出一套强大的分布式SQL执行引擎和和一整套分布式事务套件。
我也相信,这些积累能够让用户在基本保持单机数据库的使用习惯的前提下,享受到分布式数据库高性能可扩展的好处。
在平时的DRDS支持过程中,我面对最多的问题就是,DRDS能不能够在不改变任何原有业务逻辑和代码的前提下,实现可自由伸缩和扩展呢?十分可惜的是,关系数据库发展至今,还没有找到既能保留传统数据库一切特性,又能实现高性能可扩展数据库的方法。
然而,虽不能至,吾心向往之!我们会以“可扩展,高性能”为产品核心,坚定地走在追寻圣杯的路上,并坚信最终我们一定能够找寻到它神圣的所在。
作者简介:王晶昱,花名沈询,阿里巴巴资深技术专家。目前主要负责阿里的分布式数据库DRDS(TDDL)和阿里的分布式消息服务ONS(RocketMQ/Notify)两个系统。
认真的回答这个问题。没有。哈哈哈。会不会很失望。但是,事实就是如此。就给你说说吧
1阿里云计算这个首先说一下,阿里目前的云计算技术,排名世界第三。屈居谷歌和微软之后。不过,你对比一下就会知道有多牛逼了。亚马逊发展了在什么地方?微软成立了多少年。亚马逊成立于1995年,微软成立于1975年。阿里成立于1999年。而微软和亚马逊都是全球发展的公司。实力有目共睹,阿里这些年的赶超可是花的大力气。所以,这一点来说阿里的云计算还是很厉害的。
2阿里的传感城市技术这个技术实际是一个三维的数字化数据库的概念,这些年阿里通过高德,支付宝,以及阿里系的各个公司,获取到了大量的城市底层数据,现在基本可以利用这个技术,把这个城市进行重建,让一个城市更加宜居,环保,且可持续发展。实际也是可以通过海量数据为一个城市提供大脑虚拟计算,最后做出最优决策。也就是阿里所说的ET城市大脑。
对抗性神经网络在ET城市大脑项目中,阿里巴巴达摩院的科学家使用对抗性神经网络训练ET城市大脑更好的识别客车、火车、卡车的车牌,将识别精准度提高了10%。此外,科学家还将对抗性神经网络用于双11中,完成了数亿张海报的设计。说句简单的,就是让机器能够拥有一定的思考力和更加快速的反应能力。
一个就是AI技术强大的人工智能技术,就是让无数的数据荟聚到一个计算机大脑。让一个机器大脑能够拥有大量的知识储量,并且可以进行深度计算,最后会发展到各种程度,谁都不知道。
另外,就是或者还有阿里没有公布的技术。这就是我们不知道的了。或者他在憋着大招,没有放出来,咱谁都不知道。只能说,我相信以后阿里会成为一个合格的 科技 企业, 科技 实力会越来越强。也希望中国有越来越多这样的企业。这样才会让中国的企业在世界有更大的话语权。
谢邀~
从大背景来说,近些年,中国的硬核技术真正做到了起步晚、进步快,是"后来者居上"的典型。在越来越多的新兴行业里中国 科技 也早已占据着巨大的市场份额。而说到世界领先的硬核技术,阿里巴巴作为一家被电商光芒掩盖 科技 实力的互联网公司代表,很有一些东西能说道说道的。
当今爆炸式增长的数据量,使得未来 科技 竞争最重要的赛道当属云计算。而作为早早入局的阿里云已经率先突围,占据头部。据Gartner最新数据,如今亚马逊+微软+阿里占据了全球云计算市场72%的市场份额,而伴随着马太效应的持续演进,头部玩家的优势将会越来越大,未来预测云计算将会持续形成"3A"竞争的三分局面。
值得一提的是,依靠着在亚太地区的强势表现,阿里云去年还成功将亚马逊的王座地位向下拽了两个百分点,背靠着亚太这个全球最大的市场,阿里云的崛起势必还将有一番作为。
此外,诸如大疆的无人机,海康威视的监控、安保设备也都已经站在各自行业的顶端了,不得不说中国 科技 已经从过去的陪跑者变成了如今的竞争者甚至是领先者。
从当年的中华有为到如今的众帆竞航,中国 科技 的崛起想必会让世界重新认识这个沉睡的东方雄狮。
按惯例,各个击破。
先说硬核技术, 科技 领域的技术多不胜数,哪些技术才配称的上是"硬核技术"?个人认为,能决定未来的技术,才能算"硬核"。现在, 科技 届公认的能改变世界的几项技术:量子计算、云计算、芯片、底层 *** 作系统等,都是全球顶尖 科技 公司在啃的"硬菜"。
再说世界领先,得说实绩,不能靠"吹"。我们自己说了不完全算,要世界纪录认可的。
具体来说下阿里。自从诞生了阿里云之后,阿里"云"化的速度越来越快,而"云"化的底气,来源于几个:云计算,底层 *** 作系统,芯片,量子计算。
我们挑2个说说。
大家开玩笑喜欢说"遇事不决,量子力学",但认真说,量子计算,能量超乎想象。2018年3月,谷歌发布研制全球首个高质量72比特量子计算机的计划后,就提出要实现"量子霸权"计划。
业界听了都笑了
2018年5月,达摩院的量子电路模拟器"太章"就出来打脸了。太章,率先成功模拟了81比特40层作为基准的谷歌随机量子电路,成为世界最强的量子电路模拟器。
再说一个,云计算。
云计算领域,早年都是亚马逊、谷歌的天下。开始的时候,中国人自己都不信,中国能做出自己的云计算,比如某度的那个谁,某腾的那个谁,都说云计算是"异想天开"。结果呢?阿里愣是不信邪,花了十年,作为公有云计算江湖的后起之秀,阿里云以全球前三、亚太第一的市场份额赶超一众老牌云厂商。现在估值都超过770亿美元了。
之前,在最新的斯坦福大学DAWNBench深度学习榜单中,阿里云打破纪录,勇夺四项世界第一。不久后,在安全性能权威评比中,又勇夺"全球第二安全的云",让亚马逊目瞪口呆,这样够"硬核"吗?
说到硬核技术,必须要提的当然是芯片啊!
最近华为、中芯国际、光刻机频繁上热搜,芯片的事情闹得沸沸扬扬的,大家都知道了芯片的重要性!但我觉得阿里最硬核的技术,芯片必须排在首位。
阿里旗下有个公司叫平头哥,专门搞芯片的。它才成立两年,旗下第一款芯片—含光800在业界标准的resnet-50测试中,推理性能达到了78563IPS,能效500IPS/W,这两项能力都是全球第一,而且远超第二名数倍,着实给中国自研芯片争了口气!
不久前,含光800还宣布已经实现量产,我相信中国芯片自主的那一天不会太远的。
之前,斯坦福大学最新公布的DAWNBench深度学习榜单中,阿里巴巴旗下的阿里云在训练时间、训练成本、推理延迟以及推理成本拿下四项第一,打破了谷歌等企业垄断榜首的神话,这也意味着,阿里云可提供全球最快的AI计算服务。
这种理论的东西,可能大家没什么兴趣,我也一样。我个人最感兴趣的是:阿里通过AI技术,跟物联网IOT联系起来,为智能家居提供了更多的新可能。
之前,阿里云搞过一个给空巢老人的技术,真是暖心:借助阿云智能人居平台,为空巢老人量身打造了远程看护方案,不仅接入多种物联网设备,还专门定制开发了一个手机APP,所有家人都可以使用。借助物网传感器,家人可以时刻记录老人在家里的所有行为,对异样的行为进行预警。
其实,阿里的硬核技术,只是中国这些年 科技 崛起的一个缩影。作为中国 科技 公司的代表,阿里技术有今天的成就,也离不开大环境的进步和对 科技 基础设施的重视。
阿里巴巴作为中国最大的互联网公司。 在海量数据处理、高并发、云计算等方面积累了非常多的技术。程序员应该都非常清楚阿里的技术实力 。 著名开源项目Dubbo、RocketMq、Fastjson、Druid、Weex、等都是阿里开源的 。这些项目在全世界各种Java、前端等项目中都有使用。除去这些上层应用方面的技术之外,阿里还有哪些在国际上领先的技术呢?
深度学习技术DAWNBench
DAWNBench是深度学习技术的一个框架。用于端到端深度学习训练和推理的基准套件,它提供了一组常见的深度学习工作负载,用于在不同的优化策略、模型架构、软件框架、云和硬件上量化训练时间、训练成本、推理延迟和推理成本。此前这项技术一直是谷歌和亚马逊保持领先的记录。而在最新一轮的比赛中,阿里云团队在训练时间、训练成本、推理延迟以及推理成本四项中均取到了世界第一的名次。打破了谷歌多年的记录。
数据库OceanBase
在数据库领域,一直是甲骨文的Oracle在全球垄断。在阿里的OceanBase没有出现之前,世界上没有可以与Oracle可以抗衡的数据库。不管是企业级还是个人软件项目开发,我们都会第一选择使用Oracle(当然还有Mysql,Mysql也是甲骨文的数据库)。甲骨文公司几乎垄断了整个数据库领域。但是阿里巴巴每年的双十一对于数据库的吞吐能力提出了更高的挑战,阿里投入研发的OceanBase就是为了满足这种高吞吐场景需求的。经过国际TPC-C基准测试,OceanBase的TPS达到了100万(每秒处理事务数,可理解为订单数),比Oracle真正高了一倍。
云服务阿里云
阿里云大家应该不陌生。从全世界市场占有额来看,阿里云目前国内市场占有额第一,全球市场占有额第三。在全球市场占有额中,仅此于亚马逊和微软。而相比全球市场,亚太市场增长更快,云计算市场规模同比增长达50%。
在大众眼里,提起阿里巴巴就想起淘宝,天猫,支付宝。实际上阿里巴巴经过这些年的已然发展成为国际一流的技术公司, 在量子计算机,云计算,人工智能,芯片研发等硬核技术已经取得了世界领先的成就。
量子计算机技术理论上,量子计算机可以模拟出整个宇宙,不仅仅是原理的模拟,而是整个宏观体系和微观细节的模拟。比如,宇宙中的尘埃——地球上,每个生物身上的每个细胞,都可以被模拟出来。 目前,世界范围内已有两家公司,在这方面已有突破性进展,那就是谷歌和阿里。目前,阿里云在超导量子计算方向,发布11比特的云接入超导量子计算服务。该服务已在量子计算云平台上线,有兴趣可以注册个账号体验下。
人工智能技术斯坦福大学最新公布的DAWNBench深度学习榜单中, 阿里巴巴旗下的阿里云在训练时间、训练成本、推理延迟以及推理成本拿下四项第一,打破了谷歌等企业垄断榜首的神话,这也意味着,阿里云可提供全球最快的AI计算服务。 这些都属于人工智能最前沿,最顶尖的技术,阿里不仅立足当下,而且将眼光放眼未来,布局即将到来的人工智能时代。
阿里芯片技术阿里的芯片技术已经名列世界前茅。 旗下第一款芯片—含光800在业界标准的resnet-50测试中,推理性能达到了78563IPS,能效500IPS/W,这两项能力都是全球第一,而且远超第二名数倍。 我们平时经常使用的淘宝“拍立淘”功能,使用含光800,搜索效率可以提升12倍,每天新增10亿张,之前的GPU完成搜索任务要1小时,现在只要5分钟。
结语阿里这些硬核技术,只是本人了解到的,阿里技术团队一向做事低调如扫地僧。应该还有其他不为大众所知的硬核技术,只是本人不了解而已,你如果知道,请在评论区赐教,不胜感激!
谈到阿里的硬核技术,很多人第一印象肯定是想到了云计算,基于云端数据处理和存储技术,阿里在这方面的成就在世界范围内都是数一数二的,但这是老生常谈,我们暂且不说,今天来说说其他方面,阿里的表现同样强悍。
一、云 *** 作系统
云 *** 作系统指的就是阿里的飞天系统,是由阿里云自主研发、服务全球的超大规模通用计算 *** 作系统,诞生于2009年,如今经过十年发展,早已今非昔比。飞天分布式系统,如今已经累计服务了200多个国家和地区,让许多大企业减小了对于硬件的依赖,减少了支出。2017年双11,飞天更是创下世界记录,实现了每秒325万笔交易峰值,每秒256万笔支付峰值。强悍如斯,让人震撼。
二、阿里物联网平台
阿里自研的物联网平台,同样让人惊艳。2014年,阿里云自主研发了一站式物联网使能台阿里云Link,之后,又相继推出物联网 *** 作系统、物联网云平台、边缘计算引擎、一站式开发平台等。基于以上平台和系统,阿里在智能化、云端化、云计算展现出惊人优势,为我们日常的智能生活、智能城市、智能制造,提供了技术和平台支持,为经济发展提供了极大的便利。
三、AI芯片含光800
阿里巴巴达摩院研发的AI芯片“含光800”,同样让人震撼,这款芯片是阿里巴巴第一款自主研发的芯片,它被认为是全球最厉害的智能AI芯片,数据显示,含光800在芯片测试标准平台Resnet 50上的具体分数是性能78563 IPS,是第二名(15012)的5倍;能效比500 IPS/W,是第二名(150)33倍。这款芯片如今已经商用,并在全世界范围内接受了不少订单。
阿里其他方面的技术还有很多,譬如“神龙”服务框架、端 *** 作系统等等,但阿里最厉害的还是我们经常说的云计算,基于这方面的投入也是最大,未来三年,阿里将投入2000亿,继续加大对于云计算的研发,相信在未来,我们的智能生活体验中,必定离不开阿里的身影。
如果说阿里云是世界领先的话,可能有些人感受并不深。那就简单说一下一个利用阿里云落地的身边应用——城市大脑。
发明云计算最大的作用,可能就是能在这个时代“磅礴浩瀚”的数据量面前处变不惊,这也使得一些以前不敢做甚至于不敢想的东西顺利落地。从城市大脑来讲,能将整个城市的方方面面映射到一个整体系统上,这是不是和你以前看过的科幻片高度重合起来?阿里云的诞生使得各类复杂的数据都能够得到迅速响应、快速计算和实时处理,这也就让我们等待红灯的时间灵活调整,出行时间大大缩减,停车难、排队难、看病难等城市病也都得到了有效解决,这也是为什么世界上很多城市跑来借鉴的原因所在吧!
看了一些回答,有些小寒心,难道技术非要等到打上西方封禁的标签才能够得到证明吗?不可否认每个时代都有独特的事物在独领风骚,而当前以及未来都应该与数字时代脱不开联系,这也就是为何云计算崛起后持续受到各个行业关注的原因。
当然,阿里云当年不顾一切搞自主研发,虽然耗费了大量的人力物力时间,但是如今回头来看无疑是幸运的,有了核心技术也就无需担心他人的掣肘,这也是如今阿里云世界领先的原因。而有了阿里云为支撑,例如城市大脑、数据库的OceanBase、平头哥的含光芯片都纷纷亮相。相比而言,甲骨文也已经撤出中国,亚马逊和微软也在一步步让出自己的市场份额。值得一提的是,阿里身后还有达摩院的一批顶尖科学家做支撑,因此可以想象在未来相当长的时间内,阿里的技术优势还是会不断保持。
互联网经济,也就是我们说的共享经济。其他技术也是依靠互联网的钱收购的。雷声很大的达摩院也没见到什么硬核成果。期待早点见到效果!
以上就是关于为什么只有阿里云和AWS拥有自研云数据库的能力全部的内容,包括:为什么只有阿里云和AWS拥有自研云数据库的能力、了不起的阿里!10多年“不务正业”后,这个部门击败美国万亿巨头、阿里云分布式数据库服务DRDS谁使用过 简单讲讲!等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)