海量数据库解决方案的内容简介(海量数据查询方案)

海量数据库解决方案的内容简介(海量数据查询方案),第1张

简单的说几句吧。其实这个解决方案呢,主要是要先考虑成本问题,其他的,技术问题其实都很容易解决,但是企业应用上,最大的限制就是成本。下面以ORACLE数据库为例,简单说说。希望对你有所帮助。(数据库类型并不重要,解决方案都是大同小异。)

1、基于存储层的容灾复制方案

这种技术的复制机制是通过基于SAN的存储局域网进行复制,复制针对每个IO进行,复制的数据量比较大;系统可以实现数据的同步或异步两种方式的复制。对大数据量的系统来说有很大的优势(每天日志量在60G以上),但是对主机、 *** 作系统、数据库版本等要求一致,且对络环境的要求比较高。

2、基于逻辑卷的容灾复制方案

这种技术的机制是通过基于TCP/IP的网络环境进行复制,由 *** 作系统进程捕捉逻辑卷的变化进行复制。其特点与基于存储设备的复制方案比较类似,也可以选择同步或异步两种方式,对主机的软、硬件环境的一致性要求也比较高,对大数据量的应用比较有优势。其目标系统如果要实现可读,需要创建第三方镜像。个人认为这种技术和上面提到的基于存储的复制技术比较适合于超大数据量的系统,或者是应用系统的容灾复制。

3、基于oracleredolog的逻辑复制方式

使用这种方式的主要有一些第三方的软件,以及oracle自己的DATAGUARD中的logicalStandby。目前,国外已经有了很多比较成熟的产品及成功案例,国内也有类似的产品,但在产品的成熟程度和成功案例上跟国外还有一定的差距。

使用oracle以外的独立进程,捕捉redologfile的信息,将其翻译成sql语句,再通过网络传输到目标端数据库,在目标端数据库执行同样的sql。如果其进程赶不上oracle日志切换,也可以捕捉归档日志中的内容。也有的产品在源端以事务为单位,当一个事务完成后,再把它传输到目标端。所有的产品一般都是以表为单位进行复制,同时也支持大部分DDL的复制(主要在oracle9i环境中)。

数据库的吞吐量太大时,其实据会有较大的延迟,当数据库每天的日量达到60G或更大时,这种方案的可行性交差;实施的过程可能会有一些停机时间,来进行数据的同步和配置的激活;复制环境建立起来以后,对数据库结构上的一些修改需要按照规定的 *** 作流程进行,有一定的维护成本。

1、现在一般生产制造业用oracle的比较多;

2、商业企业用sybase较多,也有用oracle的;

3、财务管理用sql server的多(用友等),不过现在也都有for oracle版本的了;

4、中小企业网站方面用mysql、sql server的较多,大型的网上商城用orcale的较多。

oracle、sybase都是大型的数据库,一般用这类数据库的服务器 *** 作系统都是linux的;sql server从 *** 作系统的安全性来说企业级运营都会选择oracle、sybase。另外虽然mysql也是运行在linux上的,但其由于是免费版本,所以企业级也很少用

刘忠明1徐波1姚燕1倪宇飞2徐旭东2赵婷2

(1湖北省地质科学研究所;2黄石市国土资源局)

摘 要地级市地质资料数据中心建设是实现地质资料管理由省级向地市级延伸的基础。数据中心建设可成立地级市

地质资料数据中心建设小组,下设中心建设筹备小组、中心基建小组和技术应用小组,各司其职,开展相关工作。中

心建设技术路线是:中心建设方案制订→中心基础设施和软硬件建设→中心地质资料管理→信息共享与服务。建立黄

石市地质资料数据中心,充分挖掘地质资料及其信息的潜在经济价值,对于创新服务机制、提高服务水平和服务质量

具有十分重要的意义。

关键词地级市地质资料数据中心建设

0 引言

2006年国务院在《关于加强地质工作的决定》中明确要求:“建立健全地质资料信息共享和社会化服务体系,加快利用现代信息技术,建设国家地质资料数据中心和全球矿产资源勘查开发投资环境信息服务系统。”2009年湖北省启动了《黄石市城区地质资料信息服务集群化和产业化试点工作》项目,其中目的之一是探讨和研究省级地质资料管理如何向地级市延伸。经过三年多的工作,项目组提交了《地级市地质资料数据中心建设指南》和《黄石市地质资料数据中心建设方案》。作者在这些成果的基础上,探讨了地级市地质资料数据中心的建设框架。黄石市是一个矿业城市[1-3],矿业发达,矿政管理任务繁重,矿山环境恢复与治理工作压力巨大。如何实现黄石市地方经济的成功转型,保持矿产资源与城市环境的可持续协调发展,建立地质资料数据中心、充分挖掘地质资料的潜在价值是必经之路。

1 建设目标、原则与中心职能

11 建设目标

中心建设总体目标是依托地级市地质资料管理服务系统,开展地质资料集群,实现地质资料信息的平台管理,建立、更新不同类型的数据库,为城市建设、矿政管理和宏观决策提供技术支撑,开发地质资料信息服务产品,实现地质资料信息共享与服务,将地质资料优势转化为经济优势,促进地方经济可持续发展。

12 建设原则

中心建设原则是在建设中心大楼和在进行系统的技术设计时,应充分考虑各地级市城市地质资料档案管理、地质资料基本特征,结合各城市地质工作的社会化实际需要,采用数据库建设、现代软件工程等设计思想和设计方法,遵循实用性、可 *** 作性、前瞻性、标准化、可视化、网络化、智能化、集群化、可维护性和开放性等原则。其中实用性要求中心大楼建设应考虑实用性,能储存管理成果地质资料、实物地质资料和原始地质资料,满足矿政的平台管理需要,软硬件建设与地方电子政务系统相结合。数据库和软件系统平台设计必须最大限度地满足不同用户对系统的需求,系统功能齐全、经济实惠、 *** 作简单、快捷方便。

13 中心职能

地级市地质资料数据中心隶属于市国土资源局,由市国土资源局和市政府办公室双重领导。

地级市地质资料数据中心具有管理、组织协调和服务职责。

管理职责:地质资料汇交管理、资料登记、数据管理、系统管理与维护、设备管理、软件管理、人员管理、人才培养计划管理、涉密管理、合同管理、安全管理、产品管理、资金管理、技术管理、价格申报等。

组织协调职责:组织数据、数据更新,聘请专家,协调技术支撑单位工作。组织会议,组织社会化服务产品。与平级、上级和全国地质资料数据中心加强联系。

服务职责:研发或委托研发地质资料信息社会化服务产品。为政府和用户提供地质资料信息社会化服务产品。

14 中心任务

地级市地质资料数据中心的主要任务是系统维护、项目研究、产品研发和产品服务。系统维护、项目研究是基础,产品研发是关键,产品服务是目的。

系统维护:做好地质资料数据的汇交收集、登记、管理与借阅工作。不断补充数据,完善系统功能。维护系统的稳定和安全。做好地质资料数据的保密安全工作。加强软件系统的集群化和最优化组合试点。

项目研究:开展地质资料集群化产业化项目研究和相关专题研究。

产品研发:在地质资料集群化产业化项目研究同时或之后,研发地质资料信息社会化服务产品、服务形式,为产品服务提供产品库。

产品服务:根据用户需要,从产品库中提取产品供用户使用。做好产品宣传(片)和需求调研工作。

2 总体框架

21 中心建设

由市政府出面,组织成立黄石市地质资料数据中心建设小组,下设中心建设筹备小组、中心基建小组和技术应用小组,各司其职,开展相关工作(图1)。

图1 黄石市地质资料数据中心建设构架

在地级市地质资料数据中心内部划分相关工作室,分工协作。内部成立办公室、项目研究室、产品研发室、财务室、产品服务室。负责地质资料的汇交、管理与服务工作,负责与地质资料信息服务集群化产业化工作的事业单位和软件公司之间的业务联系。以地质资料信息服务集群化产业化工作为抓手,完善日常管理工作,逐步建立市地质资料数据中心。

22 管理服务系统建设

根据市地质资料数据中心建设目标和任务,设计、建设好地级市地质资料管理服务系统。地级市地质资料管理服务系统由功能系统、分类系统和支撑系统三部分组成。

221 功能系统

黄石市地质资料管理服务系统主要分为:资料服务、矿政服务、城市建设服务和系统维护四部分(图2),体现出市地质资料数据中心的主要工作和职能,每个部分都具有数据组织、数据录入、数据检查、数据维护、信息查询、统计分析、编辑等功能。

图 2 黄石市地质资料管理服务系统构架

资料集群:一是对原始地质资料、实物地质资料和成果地质资料的集群,方法有汇交、收集、资料共享等;二是地质图书资料、地质标准规范、地质工具书等的集群,方法有收集、购置、资料共享等;三是地质项目、地质成果的集群;四是其他数据库、多媒体等的集成。

资料管理:建立地质资料目录数据库和原始地质资料数据库,实现地质资料目录查询和地质资料电子浏览功能。完善地质资料平台借阅服务管理及其功能。

图书管理:分为地质论文、专著、教材、专集、报刊、科普、其他等部分,分别建立地质图书数据库,便于查询和浏览。

数据管理:主要分为基础地理信息数据库、地质专业数据库、地质图形库管理三部分。建立、完善这些数据库,实现数据统计分析、自动生成、自动成图等功能。

矿政管理:主要涉及规划管理、地矿单位资质管理、地质项目管理、地质资料管理、矿产管理、地质环境管理、矿业权管理、地质信息管理等。完善一张图管矿专题数据库,实现矿政管理的可视化。

信息共享与服务:提供原始数据库、成果数据库和模型库等地质产品服务。其中成果数据库主要有项目库、专项库、图形库、专业数据库等。黄石市板岩山危岩体治理工程项目数据库是一个项目库,黄石市矿业权规划数据库、黄石市一张图管矿是专项库。

222 分类系统

主要对地质资料、地质数据、地质图、地质信息化服务产品进行分类管理。黄石市地质资料分为11大类、100 多个数据类型。

223 支撑系统

主要有:集群体系、数据中心、专家系统、涉密管理、程序管理、协议管理、合同管理、资金管理、法律法规、标准规范等。通过行政、技术等服务工作,为管理系统提供强有力的保障。

23 数据库建设

数据库建设流程是:地质数据需求调查→地质数据要素全面清理→数据库设计→试点数据录入建库与调试→数据录入建库→数据更新、维护。

数据库设计,要求反映的地质要素要全,由空间数据和属性数据组成,结构合理, *** 作性强。待数据库建设方法成熟后,进行大规模数据录入,正式建立数据库。

24 地市级地质资料汇交机制的研究

如何将全国地质资料馆和各省(市、区)地质资料馆的地质资料汇交与收集的规章制度、管理办法和实施细则延伸到市县级地质资料馆,需要进行探索和实践,最终建立一套完整的汇交机制,进而建立地市级地质资料数据中心。

第一,成立地级市地质资料数据中心,建立并完善机构设置,起草并实施《黄石市地质资料汇交管理办法和实施细则》。

第二,建立以汇交为主的地质资料集群机制。

第三,建立地级市地质资料汇交网络系统。

第四,加强地质资料汇交验收力度。

3 中心建设方法

中心建设技术路线是:中心建设方案制订→中心基础设施和软硬件建设→中心地质资料管理→信息共享与服务。

中心建设方案制订的基本方法:以地质资料信息服务集群化产业化项目为支点,根据地级市地质资料中心建设指南,起草中心建设方案。在此基础上,进行问卷设计及调查,参观考察,征求意见,数易其稿,经过评审认证,最终形成方案报批稿。

中心基础设施和软硬件建设:包括地质资料库建设(原始、实物、成果地质资料)、硬件建设、软件建设、系统建设、数据库建设、网络通讯建设和电子政务建设。

中心地质资料管理:加强地质资料保管员的责任意识和保密意识,提高业务水平。根据地质资料管理条例和实施细则,建立并完善地级市地质资料管理办法。

中心地质资料信息共享与服务:研究和实施地质资料集群机制,实现地质资料信息共享,扩宽地质资料信息社会化服务产品领域,提升产品质量。

4 中心建设意义

长期以来,黄石市地质资料分散、综合研究程度不够、数字化信息化程度不高,严重制约了地质资料服务水平、服务质量和服务效益。建立黄石市地质资料数据中心,充分挖掘地质资料及其信息的潜在经济价值,对于创新服务机制、提高服务水平和服务质量,具有十分重要的意义;对于减少建设项目重复投资,避免、减少投资风险,实现矿产资源物尽其用,矿山环境恢复与治理,也具有现实意义。

在黄石市地质资料数据中心的统一框架下,不断完善湖北省黄石市地质资料管理服务系统。依据工作方案,落实黄石市地质资料数据中心机构、人员编制、经费来源。起草技术规范、标准、指南、管理制度、管理办法、实施细则等,力争成为矿业城市地质资料数据中心建设的领头羊,为培训和普及全国地市级地质资料数据中心建设提供技术支撑和管理经验。

目前,全国地质资料数据中心和部分省(市、区)地质资料数据中心正在建设之中,实现地质资料管理向地级市延伸是必然趋势。地质资料信息服务集群化产业化试点工作项目组也在积极探索建立地级市地质资料数据中心的方式和方法。通过地方行政主管部门、国土资源主管部门、地质资料信息服务集群化产业化项目组等的共同努力,一定会建设好地级市地质资料数据中心,为城市建设和城市发展提供强有力的技术支撑。

参 考 文 献

[1] 刘忠明等 湖北省黄石市矿业发展史研究 [J] 华南地质与矿产,2008,93(1):65 ~ 69

[2] 刘忠明等 黄石市矿业遗迹基本类型、特征及其开发利用建议 [J] 华南地质与矿产,2009,97(1):72 ~ 81

[3] 韩培光等 黄石市现代典型矿业遗迹基本特征及开发建议 [J] 资源环境与工程,2008,22(3):377 ~ 386

1、要了解ER图的核心要素:实体,属性,关系,实体就是一个个对象,比如猫,属性就是实体所有的某个属性,比如猫的性别,关系就是实体和实体之间或者实体内部之间的关系。

2、要了解ER图中怎么表示1中描述的三个核心要素:在ER图中矩形代表实体,椭圆代表属性,菱形代表关系,各个形状之间用线段连接。

3、以同样的方式定义课程实体后建关系表,拖进关系线段,连接两个实体,注意两头都是红色才是真正的连接起来了。会自动在关系属性里建立起连接。

扩展资料:

图书借阅管理系统注意事项:

一个实体型转换为一个关系模式。关系的属性:实体型的属性,关系的码:实体型的码。

一个1:1联系可以转换为一个独立的关系模式,也可以与任何一端对应的关系模式合并。一个1:n联系可以转换为一个独立的关系模式,也可以与n端对应的关系模式合并。一个m:n联系转换为一个关系模式。

三个或三个以上实体间的一个多元联系可以转换为一个关系模式,具有相同码的关系模式可合并,同一实体集的实体之间的联系即自联系,也可以按1:1,1:n和m:n三种情况分别处理。

以上就是关于海量数据库解决方案的内容简介(海量数据查询方案)全部的内容,包括:海量数据库解决方案的内容简介(海量数据查询方案)、数据中心 一般用什么数据库、地级市地质资料数据中心建设框架初步研究—以黄石市为例等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10198926.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-06
下一篇 2023-05-06

发表评论

登录后才能评论

评论列表(0条)

保存