技术落地性成大数据竞争赛点,鲲鹏大数据解决方案凭何领先?

技术落地性成大数据竞争赛点,鲲鹏大数据解决方案凭何领先?,第1张

文 | 曾响铃

来源 | 科技 向令说(xiangling0815)

新基建浪潮下,作为底层支撑力量的数据与计算正变得越来越重要。

最近,由中国大数据与智能计算产业联盟主办,以“新算力 新基建 新经济”为主题的第二届中国超级算力大会ChinaSC在北京召开,包括国内外院士、知名学者和产业大咖在内的600多人参加,探讨了超级计算、新基建、云计算、大数据、人工智能、区块链等前沿技术进展。

这个奖项的颁出,官方给出的标准是,“能够把当前的各种技术有机的整合在一起,以满足不同应用场景下的各种综合的软硬件及系统方案,集科学性、先进性、稳定性、经济性等众多实际指标于一身,是技术转变为实际应用的关键环节。”

显然,这个权威奖项最关心的,是大数据解决方案在推动技术向实际应用转变的能力,而这也正是当下市场环境对大数据的核心需求。笔者尝试拆解鲲鹏大数据解决方案从宏观到 *** 作层面的布局,希望能给予相关从业者这方面的行业借鉴。

技术竞赛不停, 但大数据需求转向应用落地

数据的价值越来越明显,更好地释放数据价值的技术在不断演化,但是,随着更多政企组织开始着手利用大数据能力帮助现实业务提升,其需求也开始更多倾向于技术能否更好地实现应用落地,大数据解决方案正是为此而生。

以鲲鹏为案例,在推动技术落地的过程中,其大数据解决方案表现出符合时代需要的三大特征,让它在新趋势下占据领先优势,受到客户广泛欢迎并获得ChinaSC权威认可。

1、超高性能仍然是应用落地的最有力支撑

大数据解决方案要推动技术实现各种场景的落地,其前提和支撑,是底层软硬件性能本身要足够强悍,否则,再完善和深度的解决方案,没有性能支撑也只能是空中楼阁。

而也只有性能足够强悍,在应用落地阶段才能够尽可能去满足客户各类数据价值需求。

得益于底层软硬件能力的深度开发,鲲鹏大数据解决方案就拥有超高性能,为应用做好了充分的准备以及支撑。

例如,硬件方面,采用自主研发高性能鲲鹏920处理器,软件方面,则拥有在大数据场景下获得倍级性能提升的独创IO智能预取和Spark机器学习&图增强算法。

以鲲鹏与浙江移动的合作为例,2019年,浙江移动相继完成了IT云鲲鹏服务器测试,营业厅前台系统、CRM、计费、大数据、CDN等系统的验证及上线商用。这其中,浙江移动的CRM&BOSS系统在鲲鹏大数据方案支撑下,整体得到了较大提升,在规模承载网络运营支撑业务的情况下,该系统现在已经稳定运行一年。

目前,浙江移动围绕网络云,IT云和移动云,已经打造了全球首个运营商领域ICT全场景样板点。

2、全栈方案才能推动技术全面落地

解决方案本身并不是一种具体的技术,其价值在于各种技术的有效融汇,作为统一的输出方式面向政企客户。而在政企客户需求日益加深的情况下,尽可能满足多种场景、多种技术诉求的解决方案,就必须建立一套尽可能完善的全栈体系,将各种技术有机地、系统地、全面地整合在一起。

这正是华为鲲鹏大数据解决方案的体系构成,其基于鲲鹏处理器,构建了端到端打通硬件、 *** 作系统、中间件、大数据软件的全栈体系,并对应进行了全栈性能优化,推动各类技术汇聚成高性能解决方案:

可以看到,这套全栈体系,一方面通过有机整合,能够较为容易地同时满足科学性、先进性、稳定性、经济性等需求(例如,加速特性和大数据组件能够帮助方案更有效率同时成本更低);另一方面,作为全面、完整、一体化的信息化解决方案,也更容易去适应政府、金融、电信、互联网、大企业等不同行业应用需求。

从技术到应用落地,“全栈”成为重要的中间转换环节,不但“无损”,而且“增益”。

3、符合政企个性化需求让技术落地更具现实价值

在最终面向单个客户落地时,大数据解决方案还需要真正贴合这个客户的实际需要,这是从技术到应用落地的“临门一脚”,毕竟,不论性能如何强悍,全栈体系如何完善灵活,落实到客户头上,最终还是需要符合业务实际,产生现实价值。

既要有能力,更需要契合,鲲鹏大数据解决方案就是这么做的。

2019年,江苏省基于鲲鹏架构打造了全国首个省区市县三级政务大数据,未来将有越来越多的政务系统可以由自主可靠的鲲鹏计算平台来承载;

在广西,区内首个鲲鹏产业生态云项目——“壮美广西·玉林政务云(鲲鹏云)”已于不久前上线,这是该市全面推广应用广西数字政务一体化平台的体现,而其推出的广西首个市级公共数据开放管理办法,就与鲲鹏的大数据解决方案紧密相关;

目光转到浙江,在鲲鹏生态落子浙江的过程中,浙江推动形成“用鲲鹏”的共识,城市被当成鲲鹏生态的“试验场”,杭州市政务云已经选用鲲鹏作为算力底座,基于鲲鹏技术架构的解决方案和应用在政府服务场景中得到广泛应用。

总得看来,仅有高高在上的技术而无法产生实际价值的大数据玩法已经行不通,鲲鹏大数据解决方案跨越技术与应用的鸿沟,已经在众多行业、场景和企业中实现落地。

电信行业三巨头中,中国移动已实现鲲鹏大数据解决方案规模商用,中国电信则基于鲲鹏打造了天翼云,中国联通则基于鲲鹏构建了天宫IT系统;政务方面,北京、广东、江苏、浙江、广西等政务云都出现鲲鹏身影,当下其已经成为首选技术路线;在金融行业,鲲鹏正在帮助银行系统加速完成国产化。

可以说,鲲鹏大数据解决方案有力推动了中国数字经济发展,尤其是信息技术应用创新的落地。

领先优势下, 鲲鹏三个角度出发为大数据技术落地“铺路”

1、走得更稳——回应数字时代重要的安全关切

因此,鲲鹏大数据解决方案在安全方面一直加大投入,最典型的,是在底层硬件而非软件层面进行安全保障——鲲鹏920处理器内置硬件加速、业界首创支持国密算法加速,这种CPU内置加速模块的做法,被称作“内生安全”,配合国密算法在技术上更为安全。

而与通常的大数据解决方案为了保证安全不得不让渡较多的性能随时监控系统运行不同,华为鲲鹏大数据解决方案内生安全的做法,做到了加密对业务性能的损耗低于5%——既解决安全痛点问题,也解决“为了安全需要”本身导致的痛点问题。

2、走得更顺——用兼容性保护既有数据软硬件投资

前文提到政务云大数据解决方案中,与现有的服务器的混合部署,这其中有一个十分重要的兼容性做法——由于鲲鹏大数据解决方案建立在鲲鹏处理器基础之上,而很多政企组织原有的软硬件投资都基于X86架构,所以鲲鹏要让技术的应用落地走得更顺,还需要在技术上完成对X86在部署层面的兼容,这样还能保护政企客户现有的数字化投资。

可以看到,当下的鲲鹏方案已经支持大数据组件TaiShan服务器与其他架构服务器混合部署。

以江苏电信为例,去年7月,其宣布成功上线全球首个基于鲲鹏处理器的运营商大数据平台。作为核心的业务系统,该大数据平台基于鲲鹏处理器的华为TaiShan服务器和开源Hadoop软件构建,承载着江苏电信所有生产系统的运行数据、存储及分析:

在项目进行过程中,双方携手完成基于鲲鹏处理器的开源Hadoop源代码编译,让关键的大数据业务组件在华为TaiShan服务器上的成功部署和运行,在原有集群上实现了传统架构服务器和TaiShan服务器融合部署。

这种兼容的做法,有效结合了江苏电信大数据业务特点和未来演进趋势,且充分发挥鲲鹏处理器的性能,提高了数据存储、计算等资源的使用效率。

3、走得更宽——生态开放才能让大数据拥有内生动力

鲲鹏生态的主要推动者华为一直强调的理念是“硬件开放、软件开源、使能合作伙伴”,在大数据解决方案中,这种理念同样得到了应用。

例如,在鲲鹏全栈方案中,顶层大数据平台就支持华为自研的FusionInsight大数据平台以及开源Apache、开源HDP/CDH、星环大数据平台,可以有效对接各类场景需要。今年8月,星环 科技 就发布了基于鲲鹏的大数据平台软硬件联合解决方案,由星环 科技 的TDH大数据平台提供软件层面优异的功能,由鲲鹏芯片提供硬件层面强大的性能,拥有极致性能、平滑迁移、丰富的场景支持以及快速部署多重优势,为行业创造价值。

此外,鲲鹏主导的数据虚拟化引擎openLooKeng开源,就支持跨数据格式、跨数据源、跨数据中心的海量分析,最终帮助方案的性能大幅度提升,典型的如北明数据资产管理平台V40就基于openLooKeng技术,解决了数据资产管理数据冗杂、标准不一、难以管理等痛点问题,为企业守护和挖掘数据的价值。

开放的生态,将帮助更多合作伙伴发展服务器和PC等计算产品,帮助构建高质量的基础软件生态,也让更多生态伙伴获得端、边、云的全场景开发能力,最终促进鲲鹏计算生态的繁荣,也加速大数据行业应用创新。

打好基础、做好标杆, 鲲鹏进入“强者恒强”周期

弥合技术与应用落地的鸿沟后,鲲鹏大数据解决方案拥有越来越多的政企实践,它们中大多数都是行业典型客户,本身既是大数据发展过程中的优质案例。

拥有这些客户资源的鲲鹏,实际上已经进入了强者恒强的发展周期,这不仅仅是因为它获得了诸多标杆合作案例、领先于行业,更重要的还在于,技术到应用实践的通路打通后,实践也将不断反馈技术,不断帮助鲲鹏锤炼自身的技术能力,从而形成有效的正反馈循环。

一旦这种循环形成,大数据解决方案就会进入“飞轮”式发展进程,越转越快、越难以停下,也很难以被后进者追赶,逐步成为政企客户最有竞争优势的选择。

更进一步来看,大数据服务从来都不是孤立存在的,在计算需求多样化的时代,鲲鹏计算产业生态的主要推动者华为在物联网、5G、AI等方面的能力和生态布局,无疑将帮助鲲鹏大数据解决方案有更多横向技术连接和融合的想象空间,满足更多政企客户潜在的创新业务需求。

总而言之,在以鲲鹏大数据解决方案为代表的优质案例引领下,数据与计算的时代正在加速到来,最终,“新算力”将推动“新基建”全面落地,带来“新经济”动能,更多政企客户将享受到技术带来的价值红利。

本文均来源于网络

曾响铃

1钛媒体、品途、人人都是产品经理等多家创投、 科技 网站年度十大作者;

2虎啸奖评委;

3作家:移动互联网+ 新常态下的商业机会等畅销书作者;

4《中国经营报》《商界》《商界评论》《销售与市场》等近十家报刊、杂志特约评论员;

5钛媒体、36kr、虎嗅、界面、澎湃新闻等近80家专栏作者;

6“脑艺人”(脑力手艺人)概念提出者,现演变为“自媒体”,成为一个行业;

7腾讯全媒派荣誉导师、多家 科技 智能公司传播顾问。

x86、arm都有。
1、在x86架构方面,浪潮推出了诸如NC8000、NF5486M5、RH5885HV3等多款服务器产品,搭载英特尔Xeon处理器或AMDEPYC处理器,通常用于企业级应用、云计算、大数据分析等领域。
2、在ARM架构方面,浪潮推出了基于华为鲲鹏处理器开发的TaiShan200(Model2280)服务器、TaiShan200(Model5300)服务器等产品,主要应用于边缘计算、人工智能、物联网等新兴领域,具有低功耗、高性能等优点。

鲲鹏芯片一款兼容ARM指令集的服务器芯片鲲鹏920,其拥有性能强悍、64个物理核心等特点,而对于大部分已经支持ARM64的 *** 作系统和软件而言,鲲鹏仍然是一个架构为arm64或者aarch64的芯片。可以应用于泰山2280,泰山5280,泰山X6000等型号的服务器中,按理说所有可以支持ARMv8指令集的 *** 作系统应该都可以兼容鲲鹏芯片,例如EulerOS28,ubuntu1804,CentOS75。

华为鲲鹏分析扫描工具的功能特性是检查用户软件资源包(RPM、JAR、TAR、zip、gzip文件)中包含的SO依赖库,并评估SO依赖库的可移植性。根据查询相关资料信息,华为鲲鹏分析扫描工具一款可以简化客户应用迁移到TaiShan服务器过程的工具,该工具安装在X86服务器上,当客户有软件需要移植到TaiShan服务器上时,可先用该工具分析可移植性和移植投入华为鲲鹏分析扫描工具的功能特性如下。
1、检查指定的用户软件安装路径下的SO依赖库,并评估SO依赖库的可移植性。
2、检查用户软件C/C++软件构建工程文件,并评估该文件的可移植性。
3、检查用户软件C/C++源码,并评估软件源文件的可移植性。
4、检查用户软件资源包(RPM、JAR、TAR、zip、gzip文件)中包含的SO依赖库,并评估SO依赖库的可移植性。
5、向用户提供软件移植报告,提供移植工作量评估。

Pc端电脑现在是有arm架构的,只不过数量非常少,还没有在消费市场上形成潮流。

所谓的ARM架构还有x86架构,指的都是芯片CPU的架构。那么说到芯片,目前的两大阵营,英特尔代表了x86,ARM的代表有很多,只说PC端的话,国产芯片有鲲鹏和飞腾。

华为的鲲鹏,现在正在积极的整合资源。在美国对华为进行技术封堵之后,华为可以说是all in鲲鹏,从服务器到pc电脑全面转向arm架构。

中国电子旗下的飞腾,也是ARM架构芯片的实践者。借助信创项目,也是在pc领域和服务器领域开疆拓土。

说完芯片,接下来就得说说 *** 作系统了。底层的芯片不会被我们直接所 *** 作,我们是通过 *** 作系统来去 *** 作芯片的。 *** 作系统目前比较流行的,分为两大类,一个是windows,另一个就是Linux;Windows统治桌面,Linux统治服务器。

但是现在有一个非常重要的问题,就是windows对ARM的支持不太友好,对ARM支持有好的,只有Linux。如果使用Linux *** 作系统,服务器侧还好说,在服务器这一领域,Linux *** 作系统本来就占据了绝大部分的市场份额。但是在pc电脑侧,Windows占据了绝对的主力。Windows环境下的应用和linux环境下的应用是不兼容的,这给Linux在桌面 *** 作系统的生态建设造成了巨大的困难。

在 *** 作系统这个领域,生态就是王,生态就是决定一切的关键要素。试想,如果你是一家软件公司的开发团队,基于Windows开发了一个桌面应用,如果想兼容Linux,还得重新再开发一遍,你会怎样?windows在pc桌面上的应用非常多多,全产业生态的程序员都在基于windows环境进行软件开发,
导致Linux在桌面环境下的应用极度匮乏,这反过来又导致Linux在桌面端的应用推广愈发困难。最终的结果就是windows一家独大,连带着ARM架构在pc端的推广也是举步维艰。

一切的一切,都是生态造成的。

总是听说x86架构比arm架构如何高级。现在有什么是x86不能干,而arm架构干不了的呢?目前看X86架构能胜任的,arm架构也能够胜任。X86的功耗高,arm架构功耗低,体积小更具有优势。

x86指令效率高

生态问题,比如 arm 的windows不好用,无法兼容之前的软件。

啥叫PC 搞台树莓派玩算PC吗?那不就是Arm架构吗,还是你特指PC就是X86的电脑?

兼容这一特性拖住了牙膏厂

现在大多是x64

我就在用arm架构的PC

因为ARM撼不动数十年来wintel联盟创造的超级生态圈。所谓ARM替代X86,只是一些自媒体人的瞎BB。在桌面领域、生产领域,英特尔和微软组成了坚不可破的联盟。通用服务器领域,在POWER PC退役后,已经完全是X86的天下了。
其实稍微有点脑子就会明白的。微软自己也曾经推过ARM版windows RT,结果一样不了了之。连微软都做不到的,这世界上就没一家公司能做到了。苹果在桌面领域的份额可以忽略不计,一大部分苹果用户还是改装的windows。Linux在桌面机的份额就更少了。

简单来讲

x86构架就是大功耗强性能,主要针对多线程。

ARM是低功耗低性能,主要针对精简指令集。

一般桌面端电脑并不需要太考虑功耗,而是性能为主,这是ARM构架的芯片无法满足的

而移动端的电子设备功耗就是个大问题,所以x86构架的芯片就没法满足续航的问题

差不多就这个意思吧

不过现在出了个例外,就是苹果的m1芯片,ARM构架,性能强劲,这也是苹果牛逼的地方,别人没这个本事

据我所知,鲲鹏芯片兼容了ARMv8指令集,对于已有的大部分已经支持ARM64的 *** 作系统和软件而言,鲲鹏仍然是一个架构为arm64或者aarch64的芯片。其拥有自主开发的处理器内核,每个核都进行了优化设计⌄所以鲲鹏芯片拥有整形计算能力、集成了64个自研核、集成PCIe40,CCIX等高速接口、集成2个100GRoCE端口等特点。理论上所有可以支持ARMv8指令集的 *** 作系统都可以兼容鲲鹏芯片。并且可应用于泰山2280,泰山5280,泰山X6000等服务器型号。

华为鲲鹏指的是华为海思在2019年1月初发布的一款兼容ARM指令集的服务器芯片鲲鹏920。鲲鹏920处理器兼容ARM架构,采用7nm工艺制造,可以支持32/48/64个内核。主频可达26GHz,支持8通道DDR4、PCIe40和100GRoCE网络。

鲲鹏920处理器的整型测试性能超过930分,是鲲鹏916的三倍性能。内存通道数量提升到8通道,内存速率提升至2933MHz,带宽提升24倍。PCIe30升级到PCIe40,速率翻番,IO总带宽提升17倍。集成100GRoCE以太网卡功能,网络带宽提升10倍。

鲲鹏920处理器集成了CPU、南桥、网卡、SAS存储控制器等4颗芯片的功能,能够释放出服务器更多槽位,用于扩展更多加速部件功能,大幅提高系统的集成度。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/13164924.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-06-14
下一篇 2023-06-14

发表评论

登录后才能评论

评论列表(0条)

保存