计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路连接起来,在网络 *** 作系统,网络管理软件及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。发展阶段如下:
第一阶段 (以单计算机为中心的联机终端系统)
特点:计算机网络主要是计算机技术和信息技术相结合的产物,它从20世纪50年代起步至今已经有50多年的发展历程,在20世纪50年代以前,因为计算机主机相当昂贵,而通信线路和通信设备相对便宜,为了共享计算机主机资源和进行信息的综合处理,形成了第一代的以单主机为中心的联机终端系统。
在第一代计算机网络中,因为所有的终端共享主机资源,因此终端到主机都单独占一条线路,所以使得线路利用率低,而且因为主机既要负责通信又要负责数据处理,因此主机的效率低,而且这种网络组织形式是集中控制形式,所以可靠性较低,如果主机出问题,所有终端都被迫停止工作。
面对这样的情况,当时人们提出这样的改进方法,就是在远程终端聚集的地方设置一个终端集中器,把所有的终端聚集到终端集中器,而且终端到集中器之间是低速线路,而终端到主机是高速线路,这样使得主机只要负责数据处理而不要负责通信工作,大大提高了主机的利用率。
第二阶段(以通信子网为中心的主机互联)
特点:随着计算机网络技术的发展,到20世纪60年代中期,计算机网络不再极限于单计算机网络,许多单计算机网络相互连接形成了有多个单主机系统相连接的计算机网络, 这样连接起来的计算机网络体系有两个特点:
1、多个终端联机系统互联,形成了多主机互联网络。
2、网络结构体系由主机到终端变为主机到主机。
后来这样的计算机网络体系在慢慢演变,向两种形式演变,第一种就是把主机的通信任务从主机中分离出来,由专门的CCP(通信控制处理机)来完成,CCP组成了一个单独的网络体系,我们称它为通信子网,
而在通信子网连基础上接起来的计算机主机和终端则形成了资源子网,导致两层结构体现出现。第二种就是通信子网逐规模渐扩大成为社会公用的计算机网络,原来的CCP成为了公共数据通用网。
第三阶段(计算机网络体系结构标准化)
特点:随着计算机网络技术的飞速发展,计算机网络的逐渐普及,各种计算机网络怎么连接起来就显得相当的复杂,因此需要把计算机网络形成一个统一的标准,使之更好的连接,因为网络体系结构标准化就显得相当重要,在这样的背景下形成了体系结构标准化的计算机网络。
为什么要使计算机结构标准化呢,有两个原因,第一个就是因为为了使不同设备之间的兼容性和互 *** 作性更加紧密。第二个就是因为体系结构标准化是为了更好的实现计算机网络的资源共享,所以计算机网络体系结构标准化具有相当重要的作用。
计算机网络的应用包括但不限于以下几个方面:
1、互联网:将全球范围内的计算机与设备连接起来,提供各种在线服务,例如电子邮件、即时通讯、社交媒体、在线购物等。
2、局域网(LAN)和广域网(WAN):用于连接组织内部的计算机和设备,使得员工可以共享资源、协同工作。
3、无线网络:包括WiFi、蓝牙、移动通信网络等,使得人们可以在移动设备上访问互联网,并进行各种在线活动。
4、云计算:通过网络连接远程服务器,提供各种计算和存储资源,为用户提供各种在线服务。
5、物联网:通过网络连接各种智能设备,例如传感器、智能家居、智能汽车等,实现设备之间的互相通信和控制。
6、(虚拟私人网络):通过加密技术建立安全的网络连接,实现远程访问或者远程办公等功能。
中国大数据六大技术变迁记_数据分析师考试
集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成, 历届的中国大数据技术大会(BDTC) 已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。
2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。
本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。
大会召开前期,特别梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对即将召开的BDTC 2014进行展望:
追本溯源,悉大数据六大技术变迁
伴随着大数据技术大会的发展,我们亲历了中国大数据技术与应用时代的到来,也见证了整个大数据生态圈技术的发展与衍变:
1 计算资源的分布化——从网格计算到云计算。 回顾历届BDTC大会,我们不难发现,自2009年,资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日,云计算已成为大数据资源保障的不二平台。
2 数据存储变更——HDFS、NoSQL应运而生。 随着数据格式越来越多样化,传统关系型存储已然无法满足新时代的应用程序需求,HDFS、NoSQL等新技术应运而生,并成为当下许多大型应用架构不可或缺的一环,也带动了定制计算机/服务器的发展,同时也成为大数据生态圈中最热门的技术之一。
3 计算模式改变——Hadoop计算框成主流。 为了更好和更廉价地支撑其搜索服务,Google创建了Map/Reduce和GFS。而在Google论文的启发下,原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的,计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵,时至今日已成为Apache基金会最“Hot”的开源项目,更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此,Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。
4 流计算技术引入——满足应用的低延迟数据处理需求。 随着业务需求扩展,大数据逐渐走出离线批处理的范畴,Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架,使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。
5 内存计算初露端倪——新贵Spark敢与老将叫板。 Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,从多迭代批量处理出发,兼容并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。在短短4年,Spark已发展为Apache软件基金会的顶级项目,拥有30个Committers,其用户更包括IBM、Amazon、Yahoo!、Sohu、百度、阿里、腾讯等多家知名公司,还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问,Spark已站稳脚跟。
6 关系数据库技术进化—NewSQL改写数据库历史。 关系数据库系统的研发并没有停下脚步,在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理(OLAP)的MPP(Massively Parallel Processing)数据库的需求最迫切,包括MPP数据库学习和采用大数据领域的新技术,如多副本技术、列存储技术等。而面向联机事务处理(OLTP)的数据库则向着高性能演进,其目标是高吞吐率、低延迟,技术发展趋势包括全内存化、无锁化等。
立足扬帆,看2014大数据生态圈发展
时光荏苒,转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下,2014年的BDTC上又可以洞察些什么?这里我们不妨着眼当下技术发展趋势:
1 MapReduce已成颓势,YARN/Tez是否可以再创辉煌? 对于Hadoop来说,2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说,这一年却并不轻松:基于MapReduce的实时性短板以及机构对更通用大数据处理平台的需求,Hadoop 20转型已势在必行。那么,在转型中,机构究竟会遭遇什么样的挑战?各个机构如何才能更好地利用YARN所带来的新特性?Hadoop未来的发展又会有什么重大变化?为此,BDTC 2014特邀请了Apache Hadoop committer,Apache Hadoop Project Management Committee(PMC)成员Uma Maheswara Rao G,Apache Hadoop committer Yi Liu,Bikas Saha(PMC member of the Apache Hadoop and Tez)等国际顶尖Hadoop专家,我们不妨当面探讨。
2 时过境迁,Storm、Kafka等流计算框架前途未卜。 如果说MapReduce的缓慢给众多流计算框架带来了可乘之机,那么当Hadoop生态圈组件越发成熟,Spark更加易用,迎接这些流计算框架的又是什么?这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解,亦或是与专家们当面交流。
3 Spark,是颠覆还是补充? 与Hadoop生态圈的兼容,让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果,在海量(100TB)离线数据排序上,对比上届冠军Hadoop,Spark以不到十分之一的机器,只使用三分之一的时间就完成了同样数据量的排序。毫无疑问,当下Spark已不止步于实时计算,目标直指通用大数据处理平台,而终止Shark,开启Spark SQL或许已经初见端倪。那么,当Spark愈加成熟,更加原生的支持离线计算后,开源大数据标准处理平台这个荣誉又将花落谁家?这里我们一起期待。
4 基础设施层,用什么来提升我们的网络? 时至今日,网络已成为众多大数据处理平台的攻坚对象。比如,为了克服网络瓶颈,Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块,从而提高了对网络带宽的利用。那么,在基础设施层我们又该如何克服网络这个瓶颈?直接使用更高效的网络设备,比如Infiniband能够带来多少性能提升?建立一个更智能网络,通过计算的每个阶段,自适应来调整拆分/合并阶段中的数据传输要求,不仅提高了速度,也提高了利用率。在BDTC 2014上,我们可以从Infiniband/RDMA技术及应用演讲,以及数场SDN实战上吸取宝贵的经验。
5 数据挖掘的灵魂——机器学习。 近年来,机器学习领域的人才抢夺已进入白热化,类似Google、IBM、微软、百度、阿里、腾讯对机器学习领域的投入也是愈来愈高,囊括了芯片设计、系统结构(异构计算)、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来,PB数据让人们坐拥金山,然而缺少了智能算法,机器学习这个灵魂,价值的提取无疑变得镜花水月。而在本届会议上,我们同样为大家准备了数场机器学习相关分享,静候诸位参与。
而在技术分享之外,2014年第二届CCF大数据学术会议也将同时召开,并与技术大会共享主题报告。届时,我们同样可以斩获许多来自学术领域的最新科研成果。
以上是小编为大家分享的关于中国大数据六大技术变迁记的相关内容,更多信息可以关注环球青藤分享更多干货
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)