集中式网络管理系统结构是在网络系统中设置专门的网络管理节点。管理软件和管理功能主要集中网络管理节点上,网络管理节点与被管理节点是主从关系。集中式数据存储的主要特点是能把所有数据保存在一个地方,虽然集中式网络管理便于集中管理,但不能满足大型网络中实现故障、配置、性能及安全管理等网络管理功能域的需求。
采用分布式或层次式计算模式,能够有效的在大型网络中实现故障、配置、性能及安全管理等问题。分布式网络管理模式是将地理上分布的网络管理客户机与一组网络管理服务器交互作用,完成网络管理的功能。分布式计算的优点是可以快速访问、多用户使用。每台计算机可以访问系统内其他计算机的信息文件,系统设计上具有更大的灵活性,既可为独立的计算机的地区用户的特殊需求服务,也可为联网的企业需求服务,实现系统内不同计算机之间的通信。分布式网络管理体系结构的不断改进,必须更多地借助现有的成熟分布式算法,利用分布式算法的分布性和并发性的特征来实现分布式的网络管理。同时分布式系统的执行也存在着许多非稳定的因素,目前比较成熟且稳定的分布式算法有Paxos算法和一致性hash算法等等,在实际的应用过程中应根据具体情况,选择对应的分布式算法进行部署。
无线通信领域的系统往往部署在不同的区域,区域间的通信需要拥有较高的安全性和数据可靠性,因此一般采用分布式网络设备的软件构架,那么就需要一种机制,充分利用现有的分布式算法来高效的实现无线通信系统的分布式网络设备的管理。
技术实现要素:
本发明所解决的技术问题是:针对TD-LTE系统分布式的特点,提出并实现了一种基于ZooKeeper的分布式管理的方法。通过对节点数据模型的上传来实现数据的同步,实时数据和统计数据的监控,良好的扩展性和稳定性。
本发明的目的是这样实现的:
一种分布式网络设备的管理方法,包括以下步骤:
步骤一:在多台机器上部署ZooKeeper服务器并完成初始化配置,实现多机的集群;在Web服务器中部署Web服务器客户端;
步骤二:在所有待监控的网络设备中部署网元设备客户端;所有的网元设备客户端分别在ZooKeeper服务器创建各自的节点数据模型,并形成自身数据表,并对节点数据模型中的数据进行实时监控;
步骤三:网元设备客户端分别从网络中获取数据,将获取的数据与自身数据表中存储的数据进行对比,若获取的数据与自身数据表中存储的对应的数据不相同,则将获取的数据上传到ZooKeeper服务器对应的节点数据模型中并更新自身数据表;否则,结束本流程;
步骤四:Web服务器启动后对ZooKeeper服务器的节点数据模型进行监控,若节点数据模型中的数据发生变化,则做相应记录并将变化后的数据保存在Web服务器的数据库中,浏览器访问时将变化后的数据推送到前台页面;否则,不保存数据。
其中,步骤一中在多台机器上部署ZooKeeper服务器并完成初始化配置,实现多机的集群,具体包括以下步骤:
(101)在多台机器上部署ZooKeeper服务器,设置ZooKeeper服务器交换信息的端口;
(102)对所有ZooKeeper服务器的启动文件进行配置;
(103)启动所有ZooKeeper服务器,实现多机的集群。
其中,所述的步骤二中对节点数据模型中的数据进行实时监控,具体为:对节点数据模型中的数据进行实时监控,若节点数据模型中的数据与自身数据表中存储的数据不一致,则通过watcher机制获取节点数据模型中的数据进行各自业务逻辑处理。
其中,所述的步骤三具体包括以下步骤:
(301)网元设备客户端从网络中获取数据,判断获取的数据是否在自身数据表中,若是,则执行(302),否则,结束本流程;
(302)将获取的数据与自身数据表中存储的数据进行对比,若获取的数据与自身数据表中存储的对应的数据不相同,则将获取的数据上传到ZooKeeper服务器的节点数据模型中并更新自身数据表,否则,结束本流程。
其中,若网元设备客户端关闭,则将ZooKeeper服务器中对应的节点数据模型删除。
本发明的优点为:
本发明的一种新型的分布式网络设备管理软件方法和现有技术相比,能够实现分布式应用程序协调服务,具有较高的扩展性,服务器的集群特性保证了管理系统的可靠性和数据访问的强一致性。
附图说明
图1是本发明的分布式网络设备管理模型;
图2是本发明的节点数据模型。
具体实施方式
下面结合附图和实施例对本发明做进一步详细的说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
图1是分布式网络设备的管理模型,其实施的过程如下:
步骤一:在三台机器上分别部署ZooKeeper服务器并完成初始化配置,实现多机的集群,所有ZooKeeper服务器之间信息可交互;在Web服务器中部署Web服务器客户端;
在三台机器上分别部署ZooKeeper服务器并完成初始化配置,实现多机的集群,具体为:
(101)在三台机器上部署ZooKeeper服务器,设置ZooKeeper服务器交换信息的端口;
(102)对所有ZooKeeper服务器的启动文件进行配置;
(103)启动所有ZooKeeper服务器,实现多机的集群。
步骤二:在eNodeB和EPC网络设备中分别部署网元设备客户端,eNodeB和EPC网络设备的网元设备客户端分别在ZooKeeper服务器创建各自的节点数据模型,并形成自身数据表;当eNodeB侧或EPC侧网元设备客户端宕机后,删除ZooKeeper服务器中对应的节点数据模型。图2是本示例的节点数据模型,节点数据模型中包括该网络设备的存储数据;
网元设备客户端对节点数据模型中的数据进行实时监控,若节点数据模型中的数据与自身数据表中存储的数据不一致,则通过watcher机制获取节点数据模型中的数据进行各自业务逻辑处理。
步骤三:eNodeB和EPC网络设备的网元设备客户端分别从网络中获取数据,将获取的数据与自身数据表中存储的数据进行对比,若获取的数据与自身数据表中存储的对应的数据不相同,则将获取的数据上传到ZooKeeper服务器对应的节点数据模型中并更新自身数据表;否则,结束本流程;具体为:
(301)网元设备客户端从网络中获取数据,判断获取的数据是否在自身数据表中,若是,则执行(302),否则,结束本流程;
(302)将获取的数据与自身数据表中存储的数据进行对比,若获取的数据与自身数据表中存储的对应的数据不相同,则将获取的数据上传到ZooKeeper服务器的节点数据模型中并更新自身数据表,否则,结束本流程。
步骤四:Web服务器启动后对ZooKeeper服务器的节点数据模型进行监控,若节点数据模型中的数据发生变化,则做相应记录并将变化后的数据保存在Web服务器的数据库中,浏览器访问时将变化后的数据推送到前台页面;否则,不保存数据。
综上所述,以上仅为本发明的较佳应用示例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。数据库与hadoop与分布式文件系统的区别和联系
1 用向外扩展代替向上扩展
扩展商用关系型数据库的代价是非常昂贵的。它们的设计更容易向上扩展。要运行一个更大
的数据库,就需要买一个更大的机器。事实上,往往会看到服务器厂商在市场上将其昂贵的高端机
标称为“数据库级的服务器”。不过有时可能需要处理更大的数据集,却找不到一个足够大的机器。
更重要的是,高端的机器对于许多应用并不经济。例如,性能4倍于标准PC的机器,其成本将大大
超过将同样的4台PC放在一个集群中。Hadoop的设计就是为了能够在商用PC集群上实现向外扩展
的架构。添加更多的资源,对于Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至
数百台计算机。事实上,如果不是为了开发目的,没有理由在单个服务器上运行Hadoop。
2 用键/值对代替关系表
关系数据库的一个基本原则是让数据按某种模式存放在具有关系型数据结构的表中。虽然关
系模型具有大量形式化的属性,但是许多当前的应用所处理的数据类型并不能很好地适合这个模
型。文本、和XML文件是最典型的例子。此外,大型数据集往往是非结构化或半结构化的。
Hadoop使用键/值对作为基本数据单元,可足够灵活地处理较少结构化的数据类型。在hadoop中,
数据的来源可以有任何形式,但最终会转化为键/值对以供处理。
3 用函数式编程(MapReduce)代替声明式查询(SQL )
SQL 从根本上说是一个高级声明式语言。查询数据的手段是,声明想要的查询结果并让数据库引擎
判定如何获取数据。在MapReduce中,实际的数据处理步骤是由你指定的,它很类似于SQL
引擎的一个执行计划。SQL 使用查询语句,而MapReduce则使用脚本和代码。利用MapReduce可
以用比SQL 查询更为一般化的数据处理方式。例如,你可以建立复杂的数据统计模型,或者改变
图像数据的格式。而SQL 就不能很好地适应这些任务。
4
分布式文件系统(dfs)和分布式数据库都支持存入,取出和删除。但是分布式文件系统比较暴力,
可以当做key/value的存取。分布式数据库涉及精炼的数据,传统的分布式关系型数据库会定义数据元
组的schema,存入取出删除的粒度较小。
分布式文件系统现在比较出名的有GFS(未开源),HDFS(Hadoop distributed file system)。
分布式数据库现在出名的有Hbase,oceanbase。其中Hbase是基于HDFS,而oceanbase是自己内部
实现的分布式文件系统,在此也可以说分布式数据库以分布式文件系统做基础存储。
分布式文件系统(Distributed File System,DFS)
如果局域网中有多台服务器,并且共享文件夹也分布在不同的服务器上,这就不利于管理员的管理和用户的访问。而使用分布式文件系统,系统管理员就可以把不同服务器上的共享文件夹组织在一起,构建成一个目录树。这在用户看来,所有共享文件仅存储在一个地点,只需访问一个共享的DFS根目录,就能够访问分布在网络上的文件或文件夹,而不必知道这些文件的实际物理位置。
换个思路,使用mount --bind把目录加载过来就可以了 先将数据盘挂载 mount /dev/sdb1 /mnt/d 在ftp目录下建一个文件夹data mount --bind /mnt/d data
FTP server和分布式文件系统的区别, 分布式文件系统和分布式数据库有什么不同 分布式文件系统(dfs)和分布式数据库都支持存入,取出和删除。但是分布式文件系统比较暴力,可以当做key/value的存取。分布式数据库涉及精炼的数据,传统的分布式关系型数据库会定义数据元组的schema,存入取出删除的粒度较小。
分布式文件系统现在比较出名的有GFS(未开源),HDFS(Hadoop distributed file system)。分布式数据库现在出名的有Hbase,oceanbase。其中Hbase是基于HDFS,而oceanbase是自己内部实现的分布式文件系统,在此也可以说分布式数据库以分布式文件系统做基础存储。
是的
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统。
1分布式文件系统
多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统。
分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储。换句话说,它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。
分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理来自网络和其它地方的超大规模数据提供所需的扩展能力。
2分离元数据和数据:NameNode和DataNode
存储到文件系统中的每个文件都有相关联的元数据。元数据包括了文件名、i节点(inode)数、数据块位置等,而数据则是文件的实际内容。
在传统的文件系统里,因为文件系统不会跨越多台机器,元数据和数据存储在同一台机器上。
为了构建一个分布式文件系统,让客户端在这种系统中使用简单,并且不需要知道其他客户端的活动,那幺元数据需要在客户端以外维护。HDFS的设计理念是拿出一台或多台机器来保存元数据,并让剩下的机器来保存文件的内容。
NameNode和DataNode是HDFS的两个主要组件。其中,元数据存储在NameNode上,而数据存储在DataNode的集群上。NameNode不仅要管理存储在HDFS上内容的元数据,而且要记录一些事情,比如哪些节点是集群的一部分,某个文件有几份副本等。它还要决定当集群的节点宕机或者数据副本丢失的时候系统需要做什么。
存储在HDFS上的每份数据片有多份副本(replica)保存在不同的服务器上。在本质上,NameNode是HDFS的Master(主服务器),DataNode是Slave(从服务器)。
文件系统与数据库系统的区别和联系
其区别在于:
(1)
文件系统用文件将数据长期保存在外存上,数
据库系统用数据库统一存储数据。
(2)
文件系统中的程序和数据有一
定的联系,数据库系统中的程序和数据分离。
(3)
文件系统用 *** 作系
统中的存取方法对数据进行管理,数据库系统用
DBMS
统一管理和控
制数据。
(4)
文件系统实现以文件为单位的数据共享,数据库系统实
现以记录和字段为单位的数据共享。
其联系在于:
(1)
均为数据组织的管理技术。
(2)
均由数据管理软
件管理数据,程序与数据之间用存取方法进行转换。
(3)
数据库系统
是在文件系统的基础上发展而来的。
文件系统和数据库系统之间的区别:
(1) 文件系统用文件将数据长期保存在外存上,数据库系统用数据库统一存储数据;
(2) 文件系统中的程序和数据有一定的联系,数据库系统中的程序和数据分离;
(3) 文件系统用 *** 作系统中的存取方法对数据进行管理,数据库系统用DBMS统一管理和控制数据;
(4) 文件系统实现以文件为单位的数据共享,数据库系统实现以记录和字段为单位的数据共享。
文件系统和数据库系统之间的联系:
(1) 均为数据组织的管理技术;
(2) 均由数据管理软件管理数据,程序与数据之间用存取方法进行转换;
(3) 数据库系统是在文件系统的基础上发展而来的。
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。
Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统,与MapReduce和Google档案系统的概念类似。
HDFS(Hadoop 分布式文件系统)是其中的一部分。
C/S系统最重要的特征是:它不是一个主从环境,而是一个平等的环境,即C/S系统中各计算机在不同的场合既可能是客户机,也可能是服务器,进入90年代,C/S系统迅速流行,在于它有很多优点:用户使用简单,直观;编程,调试和维护费用低;系统内部负荷可以做到比较均衡,资源利用率较高;允许在一个客户机上运行不同计算机平台上的多中应用;系统易于扩展,可用性较好,对用户需求变的适应性好。
从技术角度看,C/S系统本质上是将70年代就提出的虚拟机器的概念使用于分布式计算机系统,其本质是实现功能的合理分布和处理的“无缝连接”。C/S系统的实用依赖于若干90年代才成熟的技术:首先由于以一系列标准为基础的开放式系统原则被普遍接受,为各种客户机,服务器之间提供中间件(Middleware)成为可能;第二,CASE工具,视窗技术,面向对象技术,分布式数据库技术等的成熟,为C/S系统环境下的编程,调试,运行提供了良好的条件;性能价格比迅速提高的计算机为开销甚大的分布式 *** 作系统提供了可接受的运行条件,使得分布式逻辑处理,分布式服务器等应用模式得以实现。
C/S系统已广泛用于中小型工商企业,机关等部门,由于通讯技术的进展,C/S系统在地域上可有较大的跨度。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)