数据库与数据仓库的区别实际讲的是 OLTP 与 OLAP 的区别。
*** 作型处理,叫联机事务处理 OLTP(On-Line Transaction Processing,),也可以称面向交易的处理系统,它是针对具体业务在数据库联机的日常 *** 作,通常对少数记录进行查询、修改。用户较为关心 *** 作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段,主要用于 *** 作型处理,像Mysql,Oracle等关系型数据库一般属于OLTP。
分析型处理,叫联机分析处理 OLAP(On-Line Analytical Processing)一般针对某些主题的历史数据进行分析,支持管理决策。
首先要明白,数据仓库的出现,并不是要取代数据库。数据库是面向事务的设计,数据仓库是面向主题设计的。数据库一般存储业务数据,数据仓库存储的一般是历史数据。
数据库设计是尽量避免冗余,一般针对某一业务应用进行设计,比如一张简单的User表,记录用户名、密码等简单数据即可,符合业务应用,但是不符合分析。数据仓库在设计是有意引入冗余,依照分析需求,分析维度、分析指标进行设计。
数据库是为捕获数据而设计,数据仓库是为分析数据而设计。
数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。
关于派可数据,用心创造数据价值 让数据分析更简单
(一)农用地分等数据的组成
农用地分等数据成果丰富,按照农用地分等的流程可分为自然质量分、自然质量等指数、自然质量等别、土地利用系数、土地经济系数、利用等指数、利用等别、经济等指数和经济等别;按照农用地分等数据的性质可分为空间数据、属性数据、文本数据。为使农用地分等成果能够方便、直观地展现国家级、省级、县级、乡级各级农用地的质量与数量特征,实现对农用地分等数据的查询、分析、融合、分发等功能,必须建立一套统一、规范化的数据管理体系。这套体系能够从农用地分等的基础资料、中间成果和农用地分等成果(图、文、表)等海量数据中提取信息,供汇总平衡、调整、分析,为各级政府部门制定相关政策提供技术支持,是土地信息化的坚实基础,对各级农用地的数据(包括属性数据和矢量数据)进行更新、查询、检索和集成,建设农用地分等数据库。
农用地分等数据库的建设是实现土地资源数量、质量、产能与生态环境并重管理及国土信息化工程建设的基础保障,是实现国土资源现代化管理、社会化服务的必要前提,也是各级政府和国土资源管理部门切实保护基本农田、实施耕地占补按等级折算的重要手段。广西壮族自治区农用地分等自治区级与县级农用地分等成果主要包括文字成果、图件成果、数据成果和电子成果。
1文字成果
文字成果主要包括自治区级与县级农用地分等技术报告(包含县级农用地分等基础资料汇编等)。农用地分等技术报告主要包括4个方面的内容:一是分等对象所在区域的自然、经济和社会概况;二是分等技术方法,包括分等参数的确定,分等因素指标区、分等单元、土地利用系数等值区与土地经济系数等值区的划分方法,分等因素及其分值和权重的确定方法,等别划分方法,分等成果检验与调整方法,计算机技术在分等中的应用以及其他需要说明的技术问题等;三是分等成果及其分布特点和规律、地域组合特点、差异原因、农用地利用中存在的主要问题等;四是分等成果的应用分析。
2图件成果
图件成果具体包括分等单元图、农用地自然质量等别分布图、农用地利用等别分布图、农用地经济等别分布图、标准样地分布图。
3数据成果
数据成果包括广西壮族自治区的农用地分等单元原始属性数据表、样点投入产出调查数据表、农用地分等基本参数表、各指标区“指定作物-分等因素-自然质量分”记分规则表、农用地分等各指标区分等因素体系及其权重表、土地利用系数与土地经济系数汇总表、土地利用系数等值区间表、土地经济系数等值区间表、自治区级农用地分等单元指定作物计算结果表、自治区级农用地分等单元多作物综合计算结果表、农用地分等结果各乡(镇)面积汇总表、农用地分等结果各地类面积汇总表、自治区级农用地分等单元综合数据表、农用地标准样地属性数据表等,部分表格见附录。
4电子成果
广西壮族自治区农用地分等电子成果用光盘或硬盘保存,提交的农用地分等成果包括文字、图件和数据等成果的电子版本。
(二)农用地分等数据库建设的依据与内容
1农用地分等数据库建设的依据
农用地分等数据库建设首先要依据分等数据的特点:一是信息量巨大;二是数据与信息种类多种多样,按数据的特征分为属性数据和矢量数据,按数据的来源和性质分为农用地自然属性和社会经济属性,这些数据涉及土地学、农业学、地理学、测绘学、信息学和经济学等众多学科;三是成果具有复杂多层次的特征。其次,依据《农用地分等数据库标准》,农用地分等成果数据的内涵、特点及其应用需求,设计农用地分等数据库建设方案,按照《农用地分等规程》对农用地分等的各个环节及其成果数据进行整合加工标准化处理,把农用地分等成果的矢量数据和属性数据,通过关联式数据系统储存、管理、整合在一起,建立统一、规范的农用地分等数据库。
2农用地分等数据库建设的内容
农用地分等数据库建设的内容主要包括农用地分等数据的分类编码、农用地分等数据的图形要素分层、农用地分等数据的属性数据结构、分等单元扩展属性结构、外部表格信息和农用地分等数据文件命名6个方面的内容。
农用地分等数据的分类编码包括基础地理信息分类与编码、土地利用信息分类与编码和分等基础信息分类与编码。
农用地分等数据的属性数据结构内容复杂,主要包括基础地理、土地利用类图层属性表、注记属性表结构、县级分等基础层属性表结构、县级分等结果层属性表结构、自治区级分等基础层属性表结构、自治区级分等结果层属性表结构等内容。
分等单元扩展属性结构包括指定作物分等计算结果表结构和县级综合等别计算表结构。
外部表格信息包括指定作物参数表结构、“指定作物-分等因素-分值”说明表结构、“指定作物-分等因素-权重”说明表结构、标准样地属性特征基准分值表结构、“县级-自治区级”农用地分等单元对应表结构、县级文档结果和自治区级文档结果。
农用地分等数据文件命名规则包括以行政区为基础的数据文件命名规则和文档数据文件命名规则等内容。
(三)数据库系统的设计思想和目标
广西壮族自治区农用地分等数据管理信息系统的设计思想是以地理信息系统(GIS)为平台,在计算机软硬件支持下,把各种地理信息按照空间分布,以一定的格式输入、存储、检索、更新、显示、制图和综合分析的计算机技术系统。利用该系统,通过对农用地诸多因素(自然因素和社会经济因素)的综合分析,找出农用地变化的特点与规律,从而迅速地获取满足应用需要的信息,并能以地图、图形或数据的形式表示处理的结果。
1系统的设计思想和目标
广西壮族自治区农用地分等数据管理信息系统的设计是在充分研究和总结土地利用管理的实际工作需求和吸收目前计算机技术在土地管理中的应用经验的基础上,结合国土资源部新一轮国土资源大调查中《县级土地利用数据库标准》和《县(市)级土地利用数据库建设技术规范(征求意见稿)》而制定的。系统的设计综合了以下几方面的技术:①数字制图技术;②计算机的自动查询、检索分类、计算统计技术;③空间查询和分析技术;④空间信息的存储管理技术;⑤计算机网络技术。配套统一以上技术,将地理信息系统(GIS)技术应用到系统的设计中,形成系统基本的设计思想,即按照农用地分等数据的规范和标准,建立起农用地分等数据管理的技术路线和工艺流程,按照GIS的要求严格控制入库数据的精度;提供方便、快捷的实用工具,提高数据库的利用率和满足国土资源管理部门的工作需求;利用地理信息系统中的空间分析功能,完成对数据库的动态更新,维持数据库的现势性。
广西壮族自治区农用地分等数据管理信息系统设计的基本目标是满足国土资源管理部门对农用地分等数据的管理需求,提高土地管理的效率和质量,并且充分利用计算机技术来减轻土地管理工作的劳动强度,最终实现土地管理的信息化,构建“数字国土”工程的基础设施。
2数据入库
数据入库前要检查采集数据的质量,检查合格的数据方可入库。数据检查主要包括矢量数据几何精度和拓扑检查、属性数据完整性和正确性检查、图形和属性数据一致性检查、接边精度和完整性检查等。数据入库主要包括矢量数据、DEM数据、DOM数据、元数据等数据的入库。最后进行系统测试(图3-17)。
图3-17 入库工作流程图
数据入库前要对采集数据进行全面质量检查,并对错误进行改正,数据的检查与更正是数据建库中至关重要的一步。
(1)按照《县级土地利用数据库标准》、《农用地分等规程》等相关标准确定检查项,包括矢量数据几何精度和拓扑检查、属性数据完整性和正确性检查、图形和属性数据一致性检查、接
边完整性检查等。
(2)基于上述检查项,定制检查内容,配置相应的参数。
(3)按照定制的内容,系统自动实现批量检查,也可以采用人机交互方式对重点内容进行检查,对发现的错误及时修正。
(4)自动生成或手工编写检查报告,检查与更正工作结束(图3-18)。
图3-18 数据检查流程图
1)矢量数据入库
(1)数据检查。数据入库前,对矢量数据质量进行全面检查,并记录检查结果,对质量不合格的数据应予以返工,质量检查合格的数据方可入库。
(2)参数输入及其数据组织入库。依据参数设置的要求,向数据库管理系统中输入各种建库参数,对不同数据层的数据建立索引等,各要素数据可分层入库,也可批量入库。
(3)多尺度空间数据连接设置。对于多尺度空间数据库应设置连接参数,便于不同比例尺数据的显示。
2)元数据入库
利用数据库管理软件,采用人工和自动相结合的方法对各要素元数据内容进行检查和处理,导入各种元数据。
3)属性入库
利用Excel软件输入分等评价单元质量分值表,形成分等评价单元自然属性电子表格文件;再将各评价单元的土地利用系数和土地经济系数进行汇总,划分各等值区;然后,汇总到分等评价单元自然属性表中,计算农用地分等单元的自然质量等指数、利用等指数和经济等指数;利用相关软件将整个Excel总表转换到数据库中,存为DBASE格式文件;最后,根据关键属性字段挂接,使图、表合一,形成统一的空间数据库。
4)系统运行情况
数据入库完成后,对系统进行全面的测试;并对测试出现的问题进行全面分析和处理。
具体测试内容及要求为系统运行无死机现象;系统能对数据库中数据层进行组合查询,且数据结构正确;系统能够对数据进行汇总统计并输出相关表格成果;系统能按要求输出相关图件,等等。
(四)系统设计总体框架图
广西壮族自治区农用地分等评价数据管理系统横向包括农用地调查评价基础业务工作,纵向涵盖国家、省、市、县四级国土资源管理部门,其总体框架如图3-19和图3-20。
图3-19 总体框架横向结构图
图3-20 总体框架纵向结构图
(五)数据库系统功能的实现
依据农用地分等成果和土地利用管理的需求,该系统应具有以下基本功能:
1系统建库
系统建库是指把农用地分等成果及其涉及的信息用计算机存储起来,它具有两个方面的含义:一是全面进行数字化建库,采用MapGIS的数据结构和几何特征的描述术语,输入农用地分等数据;还可在已有的图形数据库的基础上进行建库,可利用MapGIS平台提供的数据转换和属性管理工具把图形和属性转换到系统中来;二是变更数据,根据农用地分等进展情况,及时更新农用地分等数据信息系统。
2数据查询和检索
数据查询和检索模块是系统的主要功能模块。该系统提供了强大的地图浏览、图层控制、空间索引、查询统计、空间分析和报表输出等功能,为实现统筹数量、质量与生态并重管理,建设资源节约型社会提供了良好的手段;同时,也满足公众参与管理农用地分等数据的功能,加大土地科学普及工作,树立全社会关注农用地资源安全、耕地保护与国家粮食安全的意识;通过模糊查询、条件查询、空间查找等具体功能可以快速查询村、国家级基本农田、地类图斑等重要对象的空间位置和属性信息;能对县(市、区)各级数据进行实时动态的统计汇总,并可用专题图的形式对不同区域的农用地分等数据按不同的指标进行对比分析,可以输出各种图形和报表;可以根据不同的业务需要,设计不同的数据应用分析模型,例如征地分析模型、土地开发整理前后质量评价模型、土地利用变化模型等。通过系统,按这些模型进行处理,输出分析结果,从而有效地促进国土资源管理工作的信息化、科学化、专业化,提高办事效率,避免决策失误。
3成果输出
依据农用地分等制图规范和土地利用管理需求,输出农用地分等图形和数据成果;还可以按行政区域及任意区域裁剪图件等。
4系统维护
该系统是按照国家的有关规程和标准进行设计的,可根据土地管理实际情况做进一步的编码和更新,满足国土资源管理工作的实际需要。
最好可以问你们老师,或者去相应的网站上去查找。如果你离毕业还早的话,可以去考数据库系统工程师。相应的教材和资料都可以买到,而且是国家承认的。不过这只是个证书而已,关键的以后还是要实践。通过准备考试,可以打下扎实的基础,为以后做准备。
另外,数据库其实也比较枯燥,如果你有决心的话,还是不错的工作。关键的在学校还是要先打好基础。
有很多这样的网站,你可以上网去搜索。如果有相应的辅导班,也可以考虑。
数据库系统工程师级考试大纲
一、考试说明
1考试要求
(1)掌握计算机体系结构以及各主要部件的性能和基本工作原理;
(2)掌握 *** 作系统、程序设计语言的基础知识,了解编译程序的基本知识;
(3)熟练掌握常用数据结构和常用算法;
(4)熟悉软件工程和软件开发项目管理的基础知识;
(5)熟悉计算机网络的原理和技术;
(6)掌握数据库原理及基本理论;
(7)掌握常用的大型数据库管理系统的应用技术;
(8)掌握数据库应用系统的设计方法和开发过程;
(9)熟悉数据库系统的管理和维护方法,了解相关的安全技术;
(10)了解数据库发展趋势与新技术;
(11)掌握常用信息技术标准、安全性,以及有关法律、法规的基本知识;
(12)了解信息化、计算机应用的基础知识;
(13)正确阅读和理解计算机领域的英文资料。
2 通过本考试的合格人员能参与应用信息系统的规划、设计、构建、运行和管理,能按照用户需求,设计、建立、运行、维护高质量的数据库和数据仓库;作为数据管理员管理信息系统中的数据资源,作为数据库管理员建立和维护核心数据库;担任数据库系统有关的技术支持,同时具备一定的网络结构设计及组网能力;具有工程师的实际工作能力和业务水平,能指导计算机技术与软件专业助理工程师(或技术员)工作。
3 本考试设置的科目包括
(1)信息系统知识,考试时间为150分钟,笔试;
(2)数据库系统设计与管理,考试时间为150分钟,笔试。
二、考试范围
考试科目1:信息系统知识
1 计算机系统知识
11 硬件知识
111 计算机体系结构和主要部件的基本工作原理
·CPU和存储器的组成、性能、基本工作原理
·常用I/O设备、通信设备的性能,以及基本工作原理
·I/O接口的功能、类型和特点
·CISC/RISC,流水线 *** 作,多处理机,并行处理
112 存储系统
·虚拟存储器基本工作原理,多级存储体系
·RAID类型和特性
113 安全性、可靠性与系统性能评测基础知识
·诊断与容错
·系统可靠性分析评价
· 计算机系统性能评测方法
12 数据结构与算法
121 常用数据结构
·数组(静态数组、动态数组)
·线性表、链表(单向链表、双向链表、循环链表)
·栈和队列
·树(二叉树、查找树、平衡树、遍历树、堆)、图、集合的定义、存储和 *** 作
·Hash(存储位置计算、碰撞处理)
122 常用算法
·排序算法、查找算法、数值计算、字符串处理、数据压缩算法、递归算法、图的相关算法
·算法与数据结构的关系,算法效率,算法设计,算法描述(流程图、伪代码、决策表),算法的复杂性
13 软件知识
131 *** 作系统知识
· *** 作系统的类型、特征、地位、内核(中断控制)、进程、线程概念
·处理机管理(状态转换、同步与互斥、信号灯、分时轮转、抢占、死锁)
·存储管理(主存保护、动态连接分配、分段、分页、虚存)
·设备管理(I/O控制、假脱机、磁盘调度)
·文件管理(文件目录、文件的结构和组织、存取方法、存取控制、恢复处理、共享和安全)
·作业管理(作业调度、作业控制语言(JCL)、多道程序设计)
·汉字处理,多媒体处理,人机界面
·网络 *** 作系统和嵌入式 *** 作系统基础知识
· *** 作系统的配置
132 程序设计语言和语言处理程序的知识
· 汇编、编译、解释系统的基础知识和基本工作原理
· 程序设计语言的基本成分:数据、运算、控制和传输,程序调用的实现机制
· 各类程序设计语言的主要特点和适用情况
14 计算机网络知识
·网络体系结构(网络拓扑、OSI/RM、基本的网络协议)
·传输介质,传输技术,传输方法,传输控制
·常用网络设备和各类通信设备
·Client/Server结构、Browser/Server结构、Browser/Web/Datebase结构
·LAN拓扑,存取控制,LAN的组网,LAN间连接,LAN-WAN连接
·因特网基础知识及应用
·网络软件
·网络管理
·网络性能分析
·网络有关的法律、法规
2 数据库技术
21 数据库技术基础
211 数据库模型
·数据库系统的三级模式(概念模式、外模式、内模式),两级映像(概念模式/外模式、外模式/内模式)
·数据库模型:数据模型的组成要素,概念数据模型ER图(实体、属性、关系),逻辑数据模型(关系模型、层次模型、网络模型)
212 数据库管理系统的功能和特征
·主要功能(数据库定义、数据库 *** 作、数据库控制、事务管理、用户视图)
·特征(确保数据独立性、数据库存取、同时执行过程、排它控制、故障恢复、安全性、完整性)
·RDB(关系数据库),OODB(面向对象数据库),ORDB(对象关系数据库),NDB(网状数据库)
·几种常用Web数据库的特点
213 数据库系统体系结构
· 集中式数据库系统
· Client/Server数据库系统
· 并行数据库系统
· 分布式数据库系统
· 对象关系数据库系统
22 数据 *** 作
221 关系运算
·关系代数运算(并、交、差、笛卡儿积、选择、投影、连接、除)
·元组演算
·完整性约束
222 关系数据库标准语言(SQL)
·SQL的功能与特点
·用SQL进行数据定义(表、视图、索引、约束)
·用SQL进行数据 *** 作(数据检索、数据插入/删除/更新、触发控制)
·安全性和授权
·程序中的API,嵌入SQL
23 数据库的控制功能
·数据库事务管理(ACID属性)
·数据库备份与恢复技术(UNDO、REDO)
·并发控制
24 数据库设计基础理论
241 关系数据库设计
·函数依赖
·规范化(第一范式、第二范式、第三范式、BC范式、第四范式、第五范式)
·模式分解及分解应遵循的原则
242 对象关系数据库设计
·嵌套关系、 复杂类型,继承与引用类型
·与复杂类型有关的查询
·SQL中的函数与过程
·对象关系
25 数据挖掘和数据仓库基础知识
·数据挖掘应用和分类
·关联规则、聚类
·数据仓库的成分
·数据仓库的模式
26 多媒体基本知识
261 多媒体技术基本概念
·多媒体系统基础知识
·常用多媒体文件格式
262 多媒体压缩编码技术
·多媒体压缩编码技术
·统计编码
·预测编码
·编码的国际标准
263多媒体技术应用
·简单图形的绘制,图像文件的处理方法
·音频和视频信息的应用
·多媒体应用开发过程
27 系统性能知识
·性能计算(响应时间、吞吐量、周转时间)
·性能指标和性能设计
·性能测试和性能评估
28 计算机应用基础知识
·信息管理、数据处理、辅助设计、科学计算,人工智能等基础知识
·远程通信服务及相关通信协议基础知识
3 系统开发和运行维护知识
31 软件工程、软件过程改进和软件开发项目管理知识
·软件工程知识
·软件开发生命周期阶段目标和任务
·软件开发项目基础知识(时间管理、成本管理、质量管理、人力资源管理、风险管理等)及其常用管理工具
·主要的软件开发方法(生命周期法、原型法、面向对象法、CASE)
·软件开发工具与环境知识
·软件质量管理基础知识
·软件过程改进基础知识
·软件开发过程评估、软件能力成熟度评估的基础知识
32 系统分析基础知识
·系统分析的目的和任务
·结构化分析方法(数据流图(DFD)和数据字典(DD),实体关系图(ERD),描述加工处理的结构化语言)
·统一建模语言(UML)
·系统规格说明书
33 系统设计知识
·系统设计的目的和任务
·结构化设计方法和工具(系统流程图、HIPO图、控制流程图)
·系统总体结构设计(总体布局,设计原则,模块结构设计,数据存取设计,系统配置方案)
·系统详细设计(代码设计、数据库设计、用户界面设计、处理过程设计)
·系统设计说明书
34 系统实施知识
·系统实施的主要任务
·结构化程序设计、面向对象程序设计、可视化程序设计
·程序设计语言的选择、程序设计风格
·系统测试的目的、类型,系统测试方法(黑盒测试、白盒测试、灰盒测试)
·测试设计和管理(错误曲线、错误排除、收敛、注入故障、测试试用例设计、系统测试报告)
·系统转换基础知识
35 系统运行和维护知识
·系统运行管理知识
·系统维护知识
·系统评价知识
4 安全性知识
·安全性基本概念(网络安全、 *** 作系统安全、数据库安全)
·计算机病毒的防治,计算机犯罪的防范,容灾
·访问控制、防闯入、安全管理措施
·加密与解密机制
·风险分析、风险类型、抗风险措施和内部控制
5标准化知识
·标准化意识,标准化的发展,标准出台过程
·国际标准、国家标准、行业标准、企业标准基本知识
·代码标准、文件格式标准、安全标准软件开发规范和文档标准
·标准化机构
6信息化基础知识
·信息化意识
·全球信息化趋势、国家信息化战略、企业信息化战略和策略
·有关的法律、法规
·远程教育、电子商务、电子政务等基础知识
·企业信息资源管理基础知识
7计算机专业英语
·掌握计算机技术的基本词汇
·能正确阅读和理解计算机领域的英文资料
考试科目2:数据库系统设计与管理
1数据库设计
11理解系统需求说明
·了解用户需求、确定系统范围
·确定应用系统数据库的各种关系
·现有环境与新系统环境的关系
·新系统中的数据项、数据字典、数据流
12 系统开发的准备
·选择开发方法,准备开发环境,制订开发计划
13 设计系统功能
·选择系统机构,设计各子系统的功能和接口,设计安全性策略、需求和实现方法,制定详细的工作流和数据流
14 数据库设计
141 设计数据模型
·概念结构设计(设计ER模型)
·逻辑结构设计(转换成DBMS所能接收的数据模型)
·评审设计
142 物理结构设计
·设计方法与内容
·存取方法的选择
·评审设计与性能预测
143 数据库实施与维护
·数据加载与应用程序调试
·数据库试运行
·数据库运行与维护
144 数据库的保护
·数据库的备份与恢复
·数据库的安全性
·数据库的完整性
·数据库的并发控制
15 编写外部设计文档
·编写系统说明书(系统配置图、各子系统关系图、系统流程图,系统功能说明、输入输出规格说明、数据规格说明、用户手册框架)
·设计系统测试要求
16 设计评审
2 数据库应用系统设计
21 设计数据库应用系统结构
·信息系统的架构(如Client/Server)与DBMS
·多用户数据库环境(文件服务器体系结构、Client/Server体系结构)
·大规模数据库和并行计算机体系结构(SMP、MPP)
·中间件角色和相关工具
·按构件分解,确定构件功能规格以及构件之间的接口
22 设计输入输出
·屏幕界面设计,设计输入输出检查方法和检查信息
·数据库交互与连接(掌握C程序设计语言,以及Java、Visual Basic、Visual C++、PowerBuilder、Delphi中任一种开发工具与数据库互连的方法(如何与数据库服务器沟通))
23 设计物理数据
·分析事务在数据库上运行的频率和性能要求,确定逻辑数据组织方式、存储介质,设计索引结构和处理方式
·将逻辑数据结构变换成物理数据结构,计算容量(空间代价),确定存取方法(时间效率)、系统配置(维护代价)并进行优化
24 设计安全体系
·明确安全等级
·数据库的登录方式
·数据库访问
·许可(对象许可、命令许可、授权许可的方法)
25 应用程序开发
251 应用程序开发
·选择应用程序开发平台
·系统实施顺序
·框架开发
·基础小组的程序开发
·源代码控制
·版本控制
252 模块划分(原则、方法、标准)
253 编写程序设计文档
·模块规格说明书(功能和接口说明、程序处理逻辑的描述、输入输出数据格式的描述)
·测试要求说明书(测试类型和目标,测试用例,测试方法)
254 程序设计评审
26 编写应用系统设计文档
·系统配置说明、构件划分图、构件间的接口、构件处理说明、屏幕设计文档、报表设计文档、程序设计文档、文件设计文档、数据库设计文档
27 设计评审
3 数据库应用系统实施
31 整个系统的配置与管理
32 常用数据库管理系统的应用(SQL Server、Oracle、Sybase、DB2、Access或Visual Foxpro)
·创建数据库
·创建表、创建索引、创建视图、创建约束、创建UDDT(用户自定义类型)
·创建和管理触发器
·建立安全体系
33 数据库应用系统安装
·拟定系统安装计划(考虑费用、客户关系、雇员关系、后勤关系和风险等因素)
·拟定人力资源使用计划(组织机构安排的合理性)
·直接安装(安装新系统并使系统快速进入运行状态)
·并行安装(新旧系统并行运行一段时间)
·阶段安装(经过一系列的步骤和阶段使新系统各部分逐步投入运行)
34 数据库应用系统测试
·拟定测试目标、计划、方法与步骤
·数据加载,准备测试数据
·指导应用程序员进行模块测试进行验收
·准备系统集成测试环境测试工具
·写出数据库运行测试报告
35 培训与用户支持
4数据库系统的运行和管理
41 数据库系统的运行计划
·运行策略的确定
·确定数据库系统报警对象和报警方式
·数据库系统的管理计划(执行,故障/恢复,安全性,完整性,用户培训和维护)
42 数据库系统的运行和维护
·新旧系统的转换
·收集和分析报警数据(执行报警、故障报警、安全报警)
·连续稳定的运行
·数据库维护(数据库重构、安全视图的评价和验证、文档维护)
·数据库系统的运行统计(收集、分析、提出改进措施)
·关于运行标准和标准改进一致性的建议
·数据库系统的审计
43 数据库管理
·数据字典和数据仓库的管理
·数据完整性维护和管理(实体完整性、参照完整性)
·数据库物理结构的管理(保证数据不推迟访问)
·数据库空间及碎片管理
·备份和恢复(顺序、日志(审计痕迹)、检查点)
·死锁管理(集中式、分布式)
·并发控制(可串行性、锁机制、时间戳、优化)
·数据安全性管理(加密、安全、访问控制、视图、有效性确认规则)
·数据库管理员(DBA)职责
44 性能调整
·SQL语句的编码检验
·表设计的评价
·索引的改进
·物理分配的改进
·设备增强
·数据库性能优化
45 用户支持
·用户培训
·售后服务
5 SQL
51 数据库语言
·数据库语言的要素
·数据库语言的使用方式(交互式和嵌入式)
52 SQL概述
·SQL语句的特征
·SQL语句的基本成分
53 数据库定义
·创建数据库(Create Datebase)、创建表(Create Table)
·定义数据完整性
·修改表(Alter Table)、删除表(Drop Table)
·定义索引(Create Index)、删除索引(Drop Index)
·定义视图(Create View)、删除视图(Drop View)、更新视图
54 数据 *** 作
·Select语句的基本机构
·简单查询
·SQL中的选择、投影
·字符串比较,涉及空值的比较
·日期时间,布尔值,输出排序
·多表查询
·避免属性歧义
·SQL中的连接、并、交、差
·SQL中的元组变量
·子查询
55 完整性控制与安全机制
·主键(Primary Key)约束
·外键(Foreign Key)约束
·属性值上的约束(Null、Check、Create Domain)
·全局约束(Create Assertions)
·权限、授权(Grant)、销权(Revoke)
56 创建触发器(Create Trigger)
57 SQL使用方式
·交互式SQL
·嵌入式SQL
·SQL与宿主语言接口(Declare、共享变量、游标、卷游标)
·动态SQL
·API
58 SQL 标准化
6 网络环境下的数据库
61 分布式数据库
611 分布式数据库的概念
·分布式数据库的特点与目标
612 分布式数据库的体系结构
·分布式数据库的模式结构
·数据分布的策略(数据分片、分布透明性)
·分布式数据库管理系统
613 分布式查询处理和优化
614 分布式事务管理
·分布式数据库的恢复(故障、恢复、2段提交、3段提交)
·分布式数据库的透明性(局部、分裂、复制、处理、并发、执行)
615 分布式数据库系统的应用
62 网络环境下数据库系统的设计与实施
·数据的分布设计
·负载均衡设计
·数据库互连技术
63 面向Web的DBMS技术
·三层体系结构
·动态Web网页
·ASP、JSP、XML的应用
7数据库的安全性
71 安全性策略的理解
·数据库视图的安全性策略
·数据的安全级别(最重要的、重要的、注意、选择)
72 数据库安全测量
·用户访问控制(采用口令等)
·程序访问控制(包含在程序中的SQL命令限制)
·表的访问控制(视图机制)
·控制访问的函数和 *** 作
·外部存储数据的加密与解密
8 数据库发展趋势与新技术
81 面向对象数据库(OODBMS)
811 OODBMS的特征
812 面向对象数据模型
·对象结构、对象类、继承与多重继承、对象标识、对象包含、对象嵌套
813 面向对象数据库语言
814 对象关系数据库系统(ORDBMS)
·嵌套关系
·复杂类型
·继承、引用类型
·与复杂类型有关的查询
·函数与过程
·面向对象与对象关系
·ORDBMS应用领域
82 企业资源计划(ERP)和数据库
821 ERP概述
·基本MRP(制造资源计划)、闭环MRP、ERP
·基本原理、发展趋势
·ERP设计的总体思路(一个中心、两类业务、三条干线)
822 ERP与数据库
·运行数据库与ERP数据模型之间的关系
·运行数据库与ERP数据库之间的关系
823 案例分析
83 决策支持系统的建立
·决策支持系统的概念
·数据仓库设计
·数据转移技术
·联机分析处理(OLAP)技术
·企业决策支持解决方案
·联机事务处理(OLTP)
打开wind软件,在界面上端的“宏观”选项框,选择“经济数据库”--“中国宏观数据库”
在左下角搜索框,搜索需要的指标。在d出的对话框中,双击选中的指标,此时,这个指标会在原始的界面中显示出来。
右击该指标,选择“增加指标”就可以了
具体来说,本文包括以下内容:
事务
查询性能
用户和查询冲突
容量
配置
NoSQL 数据库
事务
事务可以观察真实用户的行为:能够在应用交互时捕获实时性能。众所周知,测量事务的性能包括获取整个事务的响应时间和组成事务的各个部分的响应时间。通常我们可以用这些响应时间与满足事务需求的基线对比,来确定当前事务是否处于正常状态。
如果你只想衡量应用的某个方面,那么可以评估事务的行为。所以,尽管容器指标能够提供更丰富的信息,并且帮助你决定何时对当前环境进行自动测量,但你的事务就足以确定应用性能。无需向应用程序服务器获取 CPU 的使用情况,你更应该关心用户是否完成了事务,以及该事务是否得到了优化。
补充一个小知识点,事务是由入口点决定的,通过该入口点可以启动事务与应用进行交互。
一旦定义了事务,会在整个应用生态系统中对其性能进行测量,并将每个事务与基线进行比对。例如,我们可能会决定当事务的响应时间与基线相比,一旦慢于平均响应时间的两个标准差是否就应该判定为异常,如图1所示。
图1-基于基线评估当前事务响应时间用于评估事务的基线与正在进行的事务活动在时间上是一致的,但事务会由每个事务执行来完善。例如,当你选定一个基线,在当前事务结束之后,将事务与平均响应时间按每天的小时数和每周的天数进行对比,所有在那段时间内执行的事务都将会被纳入下周的基线中。通过这种机制,应用程序可以随时间而变化,而无需每次都重建原始基线;你可以将其看作是一个随时间移动的窗口。
总之,事务最能反映用户体验的测量方法,所以也是衡量性能状况最重要的指标。
查询性能
最容易检测到查询性能是否正常的指标就是查询本身。由查询引起的问题可能会导致时间太长而无法识别所需数据或返回数据。所以不妨在查询中排查以下问题。
1 选择过多冗余数据
编写查询语句来返回适当的数据是远远不够的,很可能你的查询语句会返回太多列,从而导致选择行和检索数据变得异常缓慢。所以,最好是列出所需的列,而不是直接用 SELECT。当需要在特定字段中查询时,该计划可能会确定一个覆盖索引从而加快结果返回。覆盖索引通常会包含查询中使用的所有字段。这意味着数据库可以仅从索引中产生结果,而不需要通过底层表来构建。
另外,列出结果中所需的列不仅可以减少传输的数据,还能进一步提高性能。
2 表之间的低效联接
联接会导致数据库将多组数据带到内存中进行比较,这会产生多个数据库读取和大量 CPU。根据表的索引,联接还可能需要扫描两个表的所有行。如果写不好两个大型表之间的联接,就需要对每个表进行完整扫描,这样的计算量将会非常大。其他会拖慢联接的因素包括联接列之间存在不同的数据类型、需要转换或加入包含 LIKE 的条件,这样就会阻止使用索引。另外,还需注意避免使用全外联接;在恰当的时候使用内部联接只返回所需数据。
3 索引过多或过少
如果查询优化没有可用的索引时,数据库会重新扫描表来产生查询结果,这个过程会生成大量的磁盘输入/输出(I/O)。适当的索引可以减少排序结果的需要。虽然非唯一值的索引在生成结果时,不能像唯一索引那样方便。如果键越大,索引也会变大,并通过它们创建更多的磁盘 I/O。大多数索引是为了提高数据检索的性能,但也需要明白索引本身也会影响数据的插入和更新,因为所有相关联的指标都必须更新。
4 太多的SQL导致争用解析资源
任何 SQL 查询在执行之前都必须被解析,在生成执行计划之前需要对语法和权限进行检查。由于解析非常耗时,数据库会保存已解析的 SQL 来重复利用,从而减少解析的耗时。因为 WHERE 语句不同,所以使用文本值的查询语句不能被共享。这将导致每个查询都会被解析并添加到共享池中,由于池的空间有限,一些已保存的查询会被舍弃。当这些查询再次出现时,则需要重新解析。
用户和查询冲突
数据库支持多用户,但多用户活动也可能造成冲突。
1 由慢查询导致的页/行锁定
为了确保查询产生精确的结果,数据库必须锁定表以防止在运行读取查询时再发生其他的插入和更新行为。如果报告或查询相当缓慢,需要修改值的用户可能需要等待至更新完成。锁提示能帮助数据库使用最小破坏性的锁。从事务数据库中分离报表也是一种可靠的解决方法。
2 事务锁和死锁
当两个事务被阻塞时会出现死锁,因为每一个都需要使用被另一个占用的资源。当出现一个普通锁时,事务会被阻塞直到资源被释放。但却没有解决死锁的方案。数据库会监控死锁并选择终止其中一个事务,释放资源并允许该事务继续进行,而另一个事务则回滚。
3 批处理 *** 作造成资源争夺
批处理过程通常会执行批量 *** 作,如大量的数据加载或生成复杂的分析报告。这些 *** 作是资源密集型的,但可能影响在线用户的访问应用的性能。针对此问题最好的解决办法是确保批处理在系统使用率较低时运行,比如晚上,或用单独的数据库进行事务处理和分析报告。
容量
并不是所有的数据库性能问题都是数据库问题。有些问题也是硬件不合适造成的。
1 CPU 不足或 CPU 速度太慢
更多 CPU 可以分担服务器负载,进一步提高性能。数据库的性能不仅是数据库的原因,还受到服务器上运行其他进程的影响。因此,对数据库负载及使用进行审查也是必不可少的。由于 CPU 的利用率时时在变,在低使用率、平均使用率和峰值使用率的时间段分别检查该指标可以更好地评估增加额外的 CPU 资源是否有益。
2 IOPS 不足的慢磁盘
磁盘性能通常以每秒输入/输出 *** 作(IOPS)来计。结合 I/O 大小,该指标可以衡量每秒的磁盘吞吐量是多少兆。同时,吞吐量也受磁盘的延迟影响,比如需要多久才能完成请求,这些指标主要是针对磁盘存储技术而言。传统的硬盘驱动器(HDD)有一个旋转磁盘,通常比固态硬盘(SSD)或闪存更慢。直到近期,SSD 虽然仍比 HDD 贵,但成本已经降了下来,所以在市场上也更具竞争力。
3 全部或错误配置的磁盘
众所周知,数据库会被大量磁盘访问,所以不正确配置的磁盘可能带来严重的性能缺陷。磁盘应该适当分区,将系统数据目录和用户数据日志分开。高度活跃的表应该区分以避免争用,通过在不同磁盘上存放数据库和索引增加并行放置,但不要将 *** 作系统和数据库交换空间放置在同一磁盘上。
4 内存不足
有限或不恰当的物理内存分配会影响数据库性能。通常我们认为可用的内存更多,性能就越好。监控分页和交换,在多个非繁忙磁盘中建立多页面空间,进一步确保分页空间分配足够满足数据库要求;每个数据库供应商也可以在这个问题上提供指导。
5 网速慢
网络速度会影响到如何快速检索数据并返回给终端用户或调用过程。使用宽带连接到远程数据库。在某些情况下,选择 TCP/IP 协议而不是命名管道可显著提高数据库性能。
配置
每个数据库都需设置大量的配置项。通常情况下,默认值可能不足以满足数据库所需的性能。所以,检查所有的参数设置,包括以下问题。
1 缓冲区缓存太小
通过将数据存储在内核内存,缓冲区缓存可以进一步提高性能同时减少磁盘 I/O。当缓存太小时,缓存中的数据会更频繁地刷新。如果它再次被请求,就必须从磁盘重读。除了磁盘读取缓慢之外,还给 I/O 设备增添了负担从而成为瓶颈。除了给缓冲区缓存分配足够的空间,调优 SQL 查询可以帮助其更有效地利用缓冲区缓存。
2 没有查询缓存
查询缓存会存储数据库查询和结果集。当执行相同的查询时,数据会在缓存中被迅速检索,而不需要再次执行查询。数据会更新失效结果,所以查询缓存是唯一有效的静态数据。但在某些情况下,查询缓存却可能成为性能瓶颈。比如当锁定为更新时,巨大的缓存可能导致争用冲突。
3 磁盘上临时表创建导致的 I/O 争用
在执行特定的查询 *** 作时,数据库需要创建临时表,如执行一个 GROUP BY 子句。如果可能,在内存中创建临时表。但是,在某些情况下,在内存中创建临时表并不可行,比如当数据包含 BLOB 或 TEXT 对象时。在这些情况下,会在磁盘上创建临时表。大量的磁盘 I / O 都需要创建临时表、填充记录、从表中选择所需数据并在查询完成后舍弃。为了避免影响性能,临时数据库应该从主数据库中分离出来。重写查询还可以通过创建派生表来减少对临时表的需求。使用派生表直接从另一个 SELECT 语句的结果中选择,允许将数据加到内存中而不是当前磁盘上。
NoSQL 数据库
NoSQL 的优势在于它处理大数据的能力非常迅速。但是在实际使用中,也应该综合参考 NoSQL 的缺点,从而决定是否适合你的用例场景。这就是为什么NoSQL通常被理解为 「不仅仅是 SQL」,说明了 NoSQL 并不总是正确的解决方案,也没必要完全取代 SQL,以下分别列举出五大主要原因。
1 挑剔事务
难以保持 NoSQL 条目的一致性。当访问结构化数据时,它并不能完全确保同一时间对不同表的更改都生效。如果某个过程发生崩溃,表可能会不一致。一致事务的典型代表是复式记账法。相应的信贷必须平衡每个借方,反之亦然。如果双方数据不一致则不能输入。NoSQL 则可能无法保证「收支平衡」。
2 复杂数据库
NoSQL 的支持者往往以高效代码、简单性和 NoSQL 的速度为傲。当数据库任务很简单时,所有这些因素都是优势。但当数据库变得复杂,NoSQL 会开始分解。此时,SQL 则比 NoSQL 更好地处理复杂需求,因为 SQL 已经成熟,有符合行业标准的接口。而每个 NoSQL 设置都有一个唯一的接口。
3 一致联接
当执行 SQL 的联接时,由于系统必须从不同的表中提取数据进行键对齐,所以有一个巨大的开销。而 NoSQL 似乎是一个空想,因为缺乏联接功能。所有的数据都在同一个表的一个地方。当检索数据时,它会同时提取所有的键值对。问题在于这会创建同一数据的多个副本。这些副本也必须更新,而这种情况下,NoSQL 没有功能来确保更新。
4 Schema设计的灵活性
由于 NoSQL 不需要 schema,所以在某些情况下也是独一无二的。在以前的数据库模型中,程序员必须考虑所有需要的列能够扩展,能够适应每行的数据条目。在 NoSQL 下,条目可以有多种字符串或者完全没有。这种灵活性允许程序员迅速增加数据。但是,也可能存在问题,比如当有多个团体在同一项目上工作时,或者新的开发团队接手一个项目时。开发人员能够自由地修改数据库,也可能会不断实现各种各样的密钥对。
5 资源密集型
NoSQL 数据库通常比关系数据库更加资源密集。他们需要更多的 CPU 储备和 RAM 分配。出于这个原因,大多数共享主机公司都不提供 NoSQL。你必须注册一个 VPS 或运行自己的专用服务器。另一方面,SQL 主要是在服务器上运行。初期的工作都很顺利,但随着数据库需求的增加,硬件必须扩大。单个大型服务器比多个小型服务器昂贵得多,价格呈指数增长。所以在这种企业计算场景下,使用 NoSQL 更为划算,例如那些由谷歌和 Facebook 使用的服务器。
以上就是关于数据仓库跟数据库有什么异同点全部的内容,包括:数据仓库跟数据库有什么异同点、分等数据库的建设、谁能给我一个数据仓库和数据挖掘案例的详细设计文档等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)