我单位现在想建立一个内部数据库,请问需要什么硬件设备,价位多少

我单位现在想建立一个内部数据库,请问需要什么硬件设备,价位多少,第1张

一般的数据库都是安装在 sever *** 作系统上的

也就是说你要找一台机器安装 2000或2003服务器版 *** 作系统 然后安装sql2000或2005

硬件设备方面没有什么太具体的要求,对安装 *** 作系统的硬盘做一个raid-1,对存放数据的硬盘搭建raid-5以保证数据安全性。

raid-1 两块磁盘搭建,就是源盘的镜像防止磁盘物理损坏后的数据丢失和时间上的误工,一块坏掉了,另一个还可以正常工作

raid-5 第三块硬盘起搭,优点是当这个阵列中的一块磁盘坏掉之后,阵列仍正常工作,换掉坏的硬盘之后原来磁盘丢失的文件会被自动恢复出来。

至于数据库的设计,这些是根据你所需要的功能开始计费的,功能越多费用就越高,这个没有固定的标准,地区差异也比较大

如果做分布式的话,首先需要对数据做个有效的划分, 可以通过地区属性或者其他类似属性做水平扩展,把不同地域的数据放在不同数据库上。 但是这种水平分割应当尽量避免跨区的访问。或者设计一个数据中心,把各个区中和报表相关的汇总数据抽取到仓库里面去,提供报表。

这样的做法在联机游戏中非常常见,比如魔兽世界,fifa on line等

或者做垂直分割,根据时间或者类似属性把数据分割到不同数据库上去,基本架构是一台在用服务器支持读写 *** 作,几台历史服务器提供数据查询,一些转储脚本定期把数据从在用服务器迁移到历史服务器上去

你要是建ORACLE数据库,还是MSSQL数据库呢?在建立数据库之前,需要对其进行设计分析。

需求分析调查和分析用户的业务活动和数据的使用情况,弄清所用数据的种类、范围、数量以及它们在业务活动中交流的情况,确定用户对数据库系统的使用要求和各种约束条件等,形成用户需求规约。概念设计对用户要求描述的现实世界(可能是一个工厂、一个商场或者一个学校等),通过对其中诸处的分类、聚集和概括,建立抽象的概念数据模型。这个概念模型应反映现实世界各部门的信息结构、信息流动情况、信息间的互相制约关系以及各部门对信息储存、查询和加工的要求等。所建立的模型应避开数据库在计算机上的具体实现细节,用一种抽象的形式表示出来。以扩充的实体—(E-R模型)联系模型方法为例,第一步先明确现实世界各部门所含的各种实体及其属性、实体间的联系以及对信息的制约条件等,从而给出各部门内所用信息的局部描述(在数据库中称为用户的局部视图)。第二步再将前面得到的多个用户的局部视图集成为一个全局视图,即用户要描述的现实世界的概念数据模型。逻辑设计主要工作是将现实世界的概念数据模型设计成数据库的一种逻辑模式,即适应于某种特定数据库管理系统所支持的逻辑数据模式。与此同时,可能还需为各种数据处理应用领域产生相应的逻辑子模式。这一步设计的结果就是所谓“逻辑数据库”。

物理设计根据特定数据库管理系统所提供的多种存储结构和存取方法等依赖于具体计算机结构的各项物理设计措施,对具体的应用任务选定最合适的物理存储结构(包括文件类型、索引结构和数据的存放次序与位逻辑等)、存取方法和存取路径等。这一步设计的结果就是所谓“物理数据库”。验证设计在上述设计的基础上,收集数据并具体建立一个数据库,运行一些典型的应用任务来验证数据库设计的正确性和合理性。一般,一个大型数据库的设计过程往往需要经过多次循环反复。当设计的某步发现问题时,可能就需要返回到前面去进行修改。因此,在做上述数据库设计时就应考虑到今后修改设计的可能性和方便性。运行与维护设计在数据库系统正式投入运行的过程中,必须不断地对其进行调整与修改。

数据库设计步骤   至今,数据库设计的很多工作仍需要人工来做,除了关系型数据库已有一套较完整的数据范式理论可用来部分地指导数据库设计之外,尚缺乏一套完善的数据库设计理论、方法和工具,以实现数据库设计的自动化或交互式的半自动化设计。所以数据库设计今后的研究发展方向是研究数据库设计理论,寻求能够更有效地表达语义关系的数据模型,为各阶段的设计提供自动或半自动的设计工具和集成化的开发环境,使数据库的设计更加工程化、更加规范化和更加方便易行,使得在数据库的设计中充分体现软件工程的先进思想和方法。

一、编写目的

建立山东半岛城市群地质-生态环境空间数据库,是“山东半岛城市群地区地质-生态环境综合调查评价及可持续发展研究”项目的设计要求,而山东半岛城市群地质-生态环境空间数据库建设,涉及地质、环境、水文、矿产等专业,并涉及单位较多,需要提交入库的数据也较多,为了指导和规范数据库项目的建设,特编写本指南,重点从建库的数据整理与格式转换阶段规范工作流程,明确最终提交成果,同时对元数据的填写做出了详细规定,本指南对山东半岛城市群空间数据库建设具有指导作用。

二、适用范围

本指南适用于山东半岛城市群地质-生态环境空间数据库建设工作。

三、编写依据及参考标准

1国家及行业标准

GB/T2260—1999中华人民共和国行政区划代码

GB/T17798—1999地球空间数据交换格式

GB/T13923—92国土基础信息数据分类与代码

GB/T17766—1999固体矿产资源/储量分类

GB/T13989—92国家基本比例尺地形图分幅和编号

GB/T9649—88地质矿产术语分类代码

GB/T964916—1998地质矿产术语分类代码矿床学

DZ/T0197—1997数字化地质图图层及属性文件格式

2部门标准

GX199900X-200X国土资源信息高层分类编码及数据文件命名规则国土资源部省级矿产资源规划编制指南国

国土资源部矿产资源储量数据库标准

中国地质调查局空间数据库工作指南20版

版山东半岛城市群地质-生态环境空间数据库建库标准(试行稿)

四、数据库框架设计

1数据库需求分析

山东半岛城市群数据库是在“山东半岛城市群生态环境地质”项目研究成果的基础上研制、基于Arcinfo平台的空间数据库系统,其总体目标是存储和管理“山东半岛城市群生态环境地质”项目研究成果的资料、信息、地图及提供查询服务,为山东半岛城市群的空间布局管理、规划和决策以及重大项目建设和经济社会可持续发展提供依据。为达成这一总体目标,对数据库建设的需求应该包括以下方面:

1)对项目成果图件及其他数据存储管理的需求,需要构建一个符合要求的空间数据库。

2)提供对山东半岛城市群生态环境地质研究成果的管理、查询与展示。

3)提供山东半岛城市群生态、环境的现状与分级分布情况。

4)组织山东半岛城市群生态环境专题图件,直观地为决策咨询提出相应的对策和解决方案。

(1)功能需求

通过需求分析,得到软件的功能需求。除基本的数据输入、编辑和管理功能外,本系统还应具有以下4个方面的要求:

1)对现有地质-生态环境问题的展示、查询;

2)地质-生态环境质量现状的分析;

3)对地质-生态环境与可持续发展关系的分析评价;

4)保持经济增长和地质-生态环境相协调的对策与建议。

(2)性能需求

本数据库系统的性能需求为:

1)系统稳定性好;

2)可扩展性好;

3) *** 作简单;

4)可移植性好;

5)保密性。

根据“山东半岛城市群地区地质-生态环境综合调查评价及可持续发展研究”项目需求分析,数据库涉及的基础图件和数据、项目研究的成果数据如下:

1)基础地理、地质图件,采用1∶20万的地理底图和经过简化的地质底图。

2)各专题项目编汇的成果图件,包括:

山东半岛城市群地区地质图;

山东半岛城市群地区卫星遥感影像图;

山东半岛城市群地区区域稳定性综合评价图;

山东半岛城市群地区土地资源环境质量评价图;

山东半岛城市群地区矿产资源综合评价图;

山东半岛城市群地区地表水评价图;

山东半岛城市群地区地下水环境评价图;

山东半岛城市群地区海岸带地质灾害分布图;

山东半岛城市群地区生态环境综合评价图;

山东半岛城市群地区地质灾害易发区分布图;

山东半岛城市群地区地质生态与经济可持续发展对策图;

烟台地区地壳稳定性评价分区图;

烟台地区地质-生态环境分析与评价图;

烟台地区生态功能区划与生态市建设规划图;

青岛地区地壳稳定性评价分区图;

青岛地区海岸带地质环境质量评价图;

青岛地区地质-生态环境评价分区图。

3)属性数据;

4)文字报告;

5)专题图件数据。

2数据库系统架构

根据以上对数据库需求的分析,结合目前项目的需要和经费情况,采用的系统架构见图12-1。

图12-1 数据库系统架构

本项目采用 ArcGIS Desktop 来搭建系统平台,用以实现定义好的空间数据和非空间数据的存储和管理。系统的核心采用地理数据库 GeoDataBase 体系结构。在后台通过 ArcCat-alog 应用模块来组织和管理所有的 GIS 信息,比如地图、数据集、模型、元数据、服务等; 通过 ArcToolBox 工具来完成数据转换、叠加处理、地理编码、统计分析和投影变换等数据处理。

客户端采用定制的 ArcMap,用以完成数据的显示、分析和编辑。另外可以通过 Arc-GIS 的扩展模块来实现对空间数据进行高效率的可视化和分析; 用 ArcGIS Spatial Analyst实现栅格数据的显示和处理。ArcGIS Desktop 系统平台表现示例见图 12 -2。

在系统数据库建成之后,如项目的后期需要进行数据的共享和发布,可采用 ArcSDE +ArcIMS 的搭配来实现 B / S 构架的数据共享。

图12-2 ArcGIS Desktop系统平台表现示例

3数据库系统功能软件的系统功能分为基本系统数据管理功能和专业应用扩展功能两大部分。根据需求分析,确定各部分的功能。

1)基本功能部分:包括系统管理,数据输入、编辑、查询和输出,数据处理和图形符号库管理等。

2)扩展功能部分:包括现状展示、分析评价、可持续发展评价和决策支持等。系统的功能模块构成见图12-3。

图12-3 系统的功能模块构成

4系统软件平台

在本项目的研究中,结合调查评价研究项目的工作实际,选取了美国ESRI公司的ArcGIS软件作为数据库开发的GIS软件平台,同时考虑到各专题研究单位的实际情况,选取MapGIS作为电子图件的绘制软件。在汇总各专题研究单位提交的MapGIS数字图件后,进行MapGIS格式数据向ArcGIS格式数据的转换,将研究成果加载到项目统一的地质-生态环境空间数据库中。本项目选择的ArcGIS软件平台包括ArcGISDesktop、ArcS-DE、ArcIMS等组件。

5硬件平台选择

除按系统平台的选择原则外,硬件选择从以下方面考虑:

1)硬件的性能:能够满足系统软件平台的运行需求;

2)与其他硬件的兼容性:各种硬件设备可以协同工作;

3)与软件的兼容性:要兼容 *** 作系统、数据库软件或其他应用软件。

可利用现有的计算机硬件,适当增设需要的硬件来构造系统的硬件环境。

6系统实现步骤

(1)系统设计

1)总体结构设计:主要指系统中各子系统之间关系的设计。

2)系统各子系统或子功能模块的描述:各功能模块要划分到软件单元的层次,要求描述清晰,以满足编码、编译和测试的需要。

3)系统外部接口设计:完成系统外部接口、各软件单元之间的详细设计。

4)数据结构和数据库设计:主要指规划数据组织与表达方式的设计。

5)界面设计:主要指应用系统的 *** 作界面设计。

6)软、硬件设计:主要指系统软硬件运行环境的设计。

7)系统单元测试的详细计划:包括测试集、测试用例和测试步骤。

(2)软件编程

完成程序代码的编写及数据库建库任务。

1)遵照软件设计说明书的要求,利用编程工具编制程序代码,并完成程序代码的测试工作。

2)按照半岛城市群项目数据库标准及数据库建库规范的要求,完成数据建库工作。

(3)系统集成与测试

完成系统集成及测试,生成可实际运行的系统,编写用户使用手册。

1)系统集成。

2)系统集成测试。集成测试的步骤为:

①制定系统各单元、模块、子系统的集成计划和集成测试计划,内容包括测试要求、步骤、数据和时间表等;②编写系统集成、测试文档;③按计划进行系统集成与集成测试,修改错误,再测试,直到符合设计要求;④编写测试报告。

3)编写用户使用手册。

五、数据入库工作流程

工作流程主要用于对规划数据库数据入库方法和过程进行指导。项目数据库的数据入库流程见图12-4。

图12-4 数据入库流程

1资料收集

主要包括图件、表格和文字资料等项目所涉及的数据和成果。

2资料预处理

数据预处理就是在全面收集资料的基础上,对资料进行系统的分析研究、综合整理及筛选等。

3建库文档准备

主要是指对建库所需的文档进行准备,主要为数据整理记录表、属性填卡表准备,MapGIS编图的花纹符号库、线型库、颜色库设定等。

4数据采集

数据的采集主要包括图件的输入、建立分层文件、属性的输入。

5数据整理

数据整理的主要内容为:检查数据分层,重新命名分层文件,补充新增图层、调整部分地理、地质和规划专题属性结构,增加部分属性表格,以及整理附加文档等,完成上述工作后要填写元数据采集表并完成对元数据的录入,最后,对所有文件要进行标准化命名。

6空间数据格式转换

按照项目建库的统一要求,各子项目在MapGIS平台下完成的成果图件,数据需要向ArcInfo格式进行转换。

六、数据质量监控

1质量监控体系

项目承担单位和实施单位要建立完善的规划数据库建设质量监控体系,并制定相应的制度。

(1)自互检

建立完整的自互检表,每个作业人员的建库工作都要进行100%的自检,并将自检所发现的问题及时改正。在自检的基础上,由项目负责人安排其他作业人员进行60%以上的互检,并将互检结果和修改处理结果如实、完整地记录下来。

(2)抽检

每张图完成后,由项目负责抽取10%进行检查,并确保检查内容全部符合质量要求。

(3)阶段性检查

对建库的每个阶段性成果要进行严格检查把关,如图件扫描矢量化后的图元检查;属性录入后的图元、属性一致性检查等。

2数据质量监控

(1)空间数据质量检查

空间数据质量检查主要是对成果图上的内容进行质量检查,要分别对MapGIS和ArcInfo格式的所有图层进行逐项检查,包括入库数据图层套合精度、拓扑、命名的标准化规范化、分层的正确性、数据的完整性、属性表结构的正确性、图元与属性的对应性、属性代码的准确性等。

(2)图面质量检查

图面检查是指对提交的成果数据图进行图面内容检查,发现错误应及时修改完善,直至准确无误。

(3)数据表数据质量检查

是指对非空间数据表和空间属性数据表检查数据的正确性,检查数据结构的一致性,并对照规划文本检查与规划实施相关内容的完整性和正确性。

(4)文档检查

资料文档检查主要是检查数据库所要求的文本、研究报告、编制说明、附表等资料文档是否齐全,内容是否正确,并检查元数据采集表及入库数据内容是否合乎要求。

3数据质量监控指标

上述内容的检查总错误率小于2%,其中,图元(包括点、线、面、注释)错误率小于1%,属性(包括文字、代码、ID号对应、记录个数等)错误率小于2%,凡错误率大于该两值的,或发生图层缺失、附表缺失、文档缺失以及未提交正确的元数据采集表和入库数据的,一律不予通过。

七、提交数据要求

1提交格式

成果图件:MapGIS格式,含工程、图层和系统库文件。

文档:包括编制说明、研究报告及其他文档资料(Word和Html两种格式)。表格:Access和Excel两种格式。

元数据采集表:Word格式。

2提交形式

汇交数据存储介质为光盘。在提交成果之前,要进行全面查杀毒,确保数据安全。

0 引 言

随着计算机应用的深入,大量数据存储在计算机中,信息的存储、管理、使用和维护显得越来越重要,而传统的数据库管理系统很难满足其要求。为了解决大数据量、异构数据集成以及访问数据的响应速度问题,采用数据仓库技术,为最终用户处理所需的决策信息提供有效方法。

1 数据仓库

数据仓库是为管理人员进行决策提供支持的一种面向主题的、集成的、非易失的并随时间而变化的数据集合。数据仓库是一种作为决策支持系统和联机分析应用数据源的结构化数据环境。

从目前数据仓库的发展来讲,数据可以存放于不同类型的数据库中,数据仓库是将异种数据源在单个站点以统一的模型组织的存储,以支持管理决策。数据仓库技术包括数据清理、数据集成、联机分析处理(OLAP)和数据挖掘(DM)。OLAP是多维查询和分析工具,支持决策者围绕决策主题对数据进行多角度、多层次的分析。OLAP侧重于交互性、快速的响应速度及提供数据的多维视图,而DM则注重自动发现隐藏在数据中的模式和有用信息。OLAP的分析结果可以给DM提供分析信息,作为挖掘的依据;DM可以拓展OLAP分析的深度,可以发现OLAP所不能发现的更为复杂、细致的信息。OLAP是联机分析处理,DM是通过对数据库、数据仓库中的数据进行分析而获得知识的方法和技术,即通过建立模型来发现隐藏在组织机构数据库中的模式和关系。这两者结合起来可满足企业对数据整理和信息提取的要求,帮助企业高层做出决策。在欧美发达国家,以数据仓库为基础的在线分析处理和数据挖掘应用,首先在金融、保险、证券、电信等传统数据密集型行业取得成功。IBM、oracle、Teradata、Microsoft、Netezza和SAS等有实力的公司相继推出了数据仓库解决方案。

近几年开始流行“分布式数据仓库”,是在多个物理位置应用全局逻辑模型。数据被逻辑地分成多个域,但不同位置不会有重复的数据。这种分布式方法可以为不同的物理数据创建安全区域,或为全球不同时区的用户提供全天候的服务。此外,有由Kognitio发起数据仓库托管服务,即DBMS厂商为客户开发和运行数据仓库。这种最初出现在业务部门,业务部门购买托管服务,而不是使用企业内IT部门提供的数据仓库。

2 数据挖掘技术

数据挖掘(DataMining),又称数据库中的知识发现(KnoWledge Discoveryin Database,KDD),是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应用价值并最终可为用户理解的模式过程。它是数据库研究中的很有应用价值的新领域,是人工智能、机器学习、数理统计学和神经元网络等技术在特定的数据仓库领域中的应用。数据挖掘的核心模块技术历经数十年的发展,其中包括数理统计、人工智能、机器学习。从技术角度看,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、人们所不知道的、但又是潜在有用的信息和知识的过程。从商业应用角度看,数据挖掘是崭新的商业信息处理技术,其主要特点是对商业数据库中的大量业务数据进行抽取、转化、分析和模式化处理,从中提取辅助商业决策的关键知识。

从技术角度讲,数据挖掘可应用于以下方面:

(1)关联规则发现是在给定的事物集合中发现满足一定条件的关联规则,简单来讲,就是挖掘出隐藏在数据间的相互关系,为业务主题提供指导。

(2)序列模式分析和关联规则发现相似,但其侧重点在于分析数据间的前后关系。模式是按时间有序的。序列模式发现是在与时间有关的事物数据库中发现满足用户给定的最小支持度域值的所有有序序列。

(3)分类分析与聚类分析,分类规则的挖掘实际上是根据分类模型从数据对象中发现共性,并把它们分成不同的类的过程。聚类时间是将d维空间的n个数据对象,划分到k个类中,使得一个类内的数据对象间的相似度高于其他类中数据对象。聚类分析可以发现没有类别标记的一组数据对象的特性,总结出一个类别的特征。

(4)自动趋势预测,数据挖掘能自动在大型数据库里面寻找潜在的预测信息。一个典型的利用数据挖掘进行预测的例子就是目标营销。数据挖掘工具可以根据过去邮件推销中的大量数据找出其中最有可能对将来的邮件推销作出反应的客户。

3 联机分析(OLAP)处理技术

联机分析(OLAP)是数据仓库实现为决策提供支持的重要工具,是共享多维信息,针对特定问题的联机数据访问和分析的快速软件技术。是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来,能够真正为用户所理解,并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术(OLAP委员会的定义)。OLAP的特性包括:①快速性:系统应能在5s内对用户的大部分分析要求做出反应;②可分析性:能处理与应用有关的任何逻辑分析和统计分析;⑨多维性:多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持;④信息性:系统应能及时获得信息,并能管理大容量信息。

OLAP的数据结构是多维,目前存在方式:①超立方结构(Hypercube),指用三维或更多的维数来描述一个对象,每个维彼此垂直。数据的测量值发生在维的交叉点上,数据空间的各部分都有相同的维属性(收缩超立方结构。这种结构的数据密度更大,数据的维数更少,并可加入额外的分析维);②多立方结构(Multicube),即将超立方结构变为子立方结构。面向某特定应用对维分割,它具有强灵活性,提高了数据(特别是稀疏数据)的分析效率。分析方法包括:切片、切块、旋转、钻取等。

OLAP也被称为共享的多维数据的快速分析FASMI,应用在数据密集型行业,如市场和销售分析、电子商务的分析、基于历史数据的营销、预算、财务报告与整合、管理报告、利益率、质量分析等。

4 小 结

采用数据仓库的数据挖掘及联机分析技术实现的决策支持系统,是弥补传统辅助决策系统能力不足的有效途径,具有重要的现实意义。

以上就是关于我单位现在想建立一个内部数据库,请问需要什么硬件设备,价位多少全部的内容,包括:我单位现在想建立一个内部数据库,请问需要什么硬件设备,价位多少、如何在海量数据环境下,搭建分布式数据库系统、怎么做一个完整的数据库等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9412659.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-28
下一篇 2023-04-28

发表评论

登录后才能评论

评论列表(0条)

保存