数据仓库怎么从业务系统中提取数据

数据仓库怎么从业务系统中提取数据,第1张

(1) 技术元数据技术元数据是存储关于商业智能系统技术细节的数据,是用于开发和管理商业智能系统使用的数据。它主要包括以下信息:商业智能系统结构的描述,包括对数据源、数据转换、抽取过程、数据加载策略以及对目标数据库的定义等内容:还包括数据仓库使用的模式、视图、维度、层次结构、类别和属性的定义,以及立方体的存储模式等信息。总之,技术元数据提供给系统管理人员和数据仓库开发人员使用,管理人员需要了解 *** 作环境到商业智能环境的映射关系(即ETL数据抽取的映射关系),数据的刷新规则,数据的安全性,数据库优化和任务调度等内容。数据仓库开发人员需要了解度量值和维度定义的算法。在实际商业智能开发过程中,业务元数据和技术元数据是相互关联的,对元数据的深刻理解是数据仓库应用和维护的基础。(2) 业务元数据业务元数据从业务角度描述了商业智能系统中的数据,是介于使用者和真实系统之间的语义层,使得不懂计算机技术的业务人员也能够“理解”商业智能系统中的数据。业务元数据使用业务名称、定义、描述等信息表示数据仓库中的各种属性和概念。业务元数据主要包括以下信息:用户的业务术语和它们表达的数据模型信息、对象名称及其属性,数据的来源信息和数据访问的规则信息,商业智能系统提供的各种分析方法以及报表展示的信息。业务员数据使数据仓库管理人员和用户更好地理解和使用数据仓库,用户通过查看业务元数据可以清晰地理解各指标的含义,指标的计算方法等信息。元数据的作用包括:便于商业智能系统的集成和可重用,保证数据仓库的数据质量和可维护性,帮助业务人员更好地理解当前业务和系统数据,提高商业智能系统的管理效率。 (3) 元模型元模型是关于模型的模型。这是特定领域的模型,定义概念并提供用于创建该领域中的模型的构建元素。说白了就是定义如何存放技术元数据和业务元数据。比如以何种方式存储,是存到文本文件(定义怎样分隔等内容)还是存到xml(定义xml标签等内容)等等。 所以,元模型其实是一个元数据交换的标准,按照相同标准设计出来的软件之间可以有效的进行数据共享,或者系统集成。 所以,严格来讲元数据管理软件与元模型之间并不是包不包含的关系,就如同如果你现在问iphone手机里包不包括java一样,因为java是一门语言,它也类似于标准。 不知道你所说的数据仓库软件是指的什么软件,如果是元数据管理软件你可以了解下作为借鉴,看看他们都有哪些功能。如果是其他类型的软件,视情况而定,如果该软件包含你要设计的功能你就可以了解下,有助于你思路的打开,但并不用精通。 最后,如果你想了解元模型的话,推荐你看看《公共仓库元模型:数据仓库集成标准导论》、《公共仓库元模型开发指南》这两本书,一定会有帮助。

521 基本数据的来源

1)中国地质大学(武汉)提供的1980年的1∶50万西南分省地质图;

2)中国科学院南京土壤研究所提供的1990年的1∶100万的西南分省土壤图;

3)中国科学院地理科学与资源研究所(北京中科永生数据公司)提供的:

西南分省1∶10万土地利用现状图(2000年),西南分省行政区划图(1995年),西南分省年平均气温栅格图(1993~2000年平均),西南分省年平均降雨栅格图(1993~2000年平均),植被覆盖率分省栅格图(2000年),植被净初级生产力分省栅格图(2000年),土壤呼吸分省栅格图(2000年),1∶25万DEM栅格图(1995年);

4)中国统计出版社提供的2000年西南分省统计年鉴。

522 数据的提取

(1)各图层的配准

将收集到的各类图层进行统一投影和坐标转换,统一的标准为(表5-1):

表5-1 各类图层统一的坐标系统参数

亦即,Albers等面积双标准纬线圆锥投影,全国统一的中央经线和双标准纬线,中央经线为东京105°,双标准纬线为北纬25°和北纬47°,采用KRASOVSKY椭球体,大地水准面为Beijing1954。

(2)各图层数据的提取

Ⅰ地质图

1)根据岩性地层的描述将各图斑划归为:白云岩、白云岩夹层、不纯白云岩、石灰岩、石灰岩夹层、不纯石灰岩、石灰岩-白云岩互层、碳酸盐岩及非碳酸盐岩;

2)在岩性归类的图层上叠加行政区划图,以县为单元计算各类岩石出露面积;

3)计算各县碳酸盐岩出露面积占国土面积的比例;

4)统计各省碳酸盐岩出露面积和岩溶县数,建立相应数据库,绘制西南岩溶石山区的岩溶县分布图。

表5-2 西南分省碳酸盐岩出露面积及各比例岩溶县统计表

根据统计的结果(表5-2、图5-1、图版Ⅱ-4)显示:

1)西南7省(区)1市,其国土面积有19469万km2,占全国国土面积的2028%。碳酸盐岩出露面积5326万km2,占国土面积的2736%,碳酸盐岩出露面积最大的是贵州省,连片分布的碳酸盐岩面积1161万km2,占全省面积的612%;碳酸盐岩出露面积最小的是广东省,其碳酸盐岩出露面积103万km2,占全省面积的58%。

2)本文统计的西南岩溶区碳酸盐岩出露面积的统计结果除了广东省偏低外,其他各省(区、市)的统计结果均与李大通(1983)统计和出版的1∶400万中国可溶岩分布图的结果有较好的对应关系(图5-2)。

图5-1 中国西南各县碳酸盐岩出露面积占土地面积比例的分布图

图5-2 西南岩溶区碳酸盐岩出露面积统计结果与前人成果的对比

3)碳酸盐岩出露面积大于30%的岩溶县主要分布在滇东、桂西、黔、渝东、湘西、鄂西,呈NE-SW向展布。此线以东,湘中南、鄂东、桂东岩溶县呈岛屿状分布;此线以西,岩溶县呈分散状分布。碳酸盐岩出露面积大于70%的岩溶县主要分布在云南、广西、贵州、重庆。

我国西南碳酸盐岩连片分布与古环境的演变和地壳运动密切相关:

古生代,西南地区是当时古特提斯洋的东部边缘的浅海区,当时丰富的陆源物质供给和温暖海水形成的活跃的生物活动和蒸发过程,可能是导致该地区碳酸盐岩大量沉积和成岩的主要原因。这一沉积过程随后被地壳构造运动隆升过程所代替,开始西南地区成陆过程;

中生代,太平洋板块向西俯冲,造成中国华南地区(特别是扬子区)的隆起和海水由东而西的逐渐退出。

70MaBP印度板块脱离冈瓦纳古大陆,并向北漂移,在45MaBP(始新世早期),与欧亚板块碰撞。

第三纪末,在印度板块、太平洋板块的夹击下,青藏高原开始整体隆升。调查表明,自早更新世晚期至现在,贵州西部抬升量达2000多米,中部达1000多米,东部也达数百米不等。最终形成今日西南岩溶地区的格局。

Ⅱ1∶25万DEM栅格图

1)将行政区划图与DEM栅格图叠加,通过ArcView32中的Spatial analysis功能模块,可获得各县的平均海拔高度。

2)将各县平均海拔高度分成10级:0~200m;200~500m;500~1000m;1000~1500m;1500~2000m;2000~2500m;2500~3000m;3000~3500m;3500~4000m;4000~4500m。

3)按不同的海拔高度等级绘制西南区地势图(图5-3,图版Ⅱ-1),西南岩溶地势总体格局呈现为西北高,东南低,绝对高差大于4000m。以500m、1500m、3500m为界线,可将西南地势分成4个阶梯:广东、广西的大部分县,湘东、鄂东大部分县海拔高度小于500m,构成第一级阶梯;广西的北部、西部,湘西,鄂西,黔南、黔西,重庆,四川盆地,海拔高度500~1500m,构成第二级阶梯;黔西,滇,川南构成第三级阶梯,海拔高度1500~3500m;川西北各县的海拔高度为3500~4500m,构成第四级阶梯。

图5-3 中国西南区由各县平均海拔高度生成的地势图

同样的方法可获得西南各县年平均气温和年平均降雨量(图5-4、图版Ⅱ-2,图5-5、图版Ⅱ-3);

西南地区东南比邻海,是太平洋东南季风向内陆推进的入口;云南南部还受到印度洋西南季风的影响。因此,西南岩溶区的降雨、气温分布与地势的关系十分密切(图5-6,表5-3)。

图5-4 中国西南各县年平均气温空间分布趋势图

图5-5 中国西南各县年平均降雨量空间分布趋势图

表5-3 中国西南各省(区、市)平均地势与年平均降雨量、年平均气温

图5-6 中国西南各省年平均气温、年平均降雨量与平均海拔之间的关系

表5-3可以看出以省为信息单元的平均海拔、年平均降雨量和年平均气温,其中广东省具有最低的海拔,而年平均降雨量、年平均气温均处于最高;云南具有最高的平均海拔,而最低的年平均降雨量、年平均气温均出现在四川;另外,广西平均海拔排在第四,而年平均降雨量、年平均气温排在第二,这可能与四川盆地、广西盆地的存在有关,与西南季风对云南气候的影响有关。总之,以省(区、市)作为信息单元,并不能很好地反映地势与气候之间的。如以县作为基本的信息单元,则平均海拔与气候之间存在较好的对应关系,其年平均降雨量、年平均气温与平均海拔之间存在较好的负相关,其相关系数为r=-061和-069(图5-7)。

图5-7 中国西南各县年平均气温、年平均降雨量与平均海拔之间的相关分析

Ⅲ土地利用现状图

1)将行政区划图叠加于土地利用现状图上,按县提取各土地类型的分布面积;

2)统计有林地、灌丛林地、耕地占国土面积的比例;

3)将行政区划图叠加于植被覆盖率图层上,获取有林地(森林地)、灌丛林地的植被覆盖率;

表5-4 西南各省(区、市)主要土地类型及面积统计(万kn2)

4)按县计算有林地(森林地)、灌丛林地的覆盖率;

5)绘制西南区有林地(森林地)与灌丛林地覆盖率的分布图并建立相应的数据库。

表5-4和图5-8可揭示西南区土地利用的特点,与全国土地利用对比,西南岩溶石山区的国土面积占全国的2028%,而耕地面积占全国耕地面积的3646%,是全国平均值的142倍,而水域面积仅占全国水域面积的1042%,为全国平均值的40%。这充分反映了西南岩溶石山区地表水资源量的短缺和人类活动对土地的强烈开垦。

土地利用的方式与植被的覆盖率是制约生态系统中两个活跃指标—植被净初级生产力和土壤呼吸的主要因子。将西南植被净初级生产力(NPP)和土壤呼吸图层按县进行数据的提取,可生成西南区NPP和土壤呼吸的分布图(图5-9,图版Ⅱ-4)。

图5-8 西南各省(区、市)主要土地类型和分布比例及与全国对比

从以上分析可知西南地区由东南到西北地势可分为4个阶梯,碳酸盐岩主要分布在第二、第三阶梯,温度、降雨与地势存在较好的负相关,亦即在西南地区水热条件随地势的变化是渐变的。如果具有相同的基地条件,那么植被生态系统中活力指标也应是渐变的。但从西南岩溶区NPP和土壤呼吸的空间分布特征看:

1)NPP值大于1050gC/m2·a的主要分布区为第二阶梯和第三阶梯,而第一阶梯和第四阶梯区的NPP值大多偏低。如果以县为信息单元,则在海拔在1200~1500mNPP值出现最高值(图5-10)。第四阶梯区的NPP值偏低与第四阶梯区的低温少雨关系密切;而第一阶梯区的NPP值偏低的原因可能与该地区的土地利用方式和植被覆盖相关。NPP高值区与碳酸盐岩集中分布区之间存在对应关系。

图5-9 中国西南各县植被净初级生产力、土壤呼吸排放速率与各县碳酸盐岩出露面积比例之间的关系

2)从土壤呼吸排放量分布图看,总的趋势是随着地势的升高,水热条件的减弱,土壤呼吸渐渐减小,但在第一、第二阶梯之间存在明显的分界线(土壤呼吸量为300gC/m2·a),而该线以西的第二、第三阶梯则是碳酸盐岩分布集中区。如果以县为信息单元所获得的结果是:在海拔800~1200m之间出现一个拐点,即土壤呼吸量由快速下降的变化状态转换成相对平稳(或缓慢降低状态)(图5-11),当海拔高度大于3500m(第四阶梯)时,则土壤呼吸变化又转化成快速降低状态。

图5-10 中国西南各县植被净初级生产力与平均海拔之间的关系

图5-11 中国西南各县土壤呼吸排放量与平均海拔之间的关系

Ⅳ社会经济指标

1)从2000年分省(区、市)统计年鉴中获得以下9个指标:①人口密度(人/km2);②人口自然增长率(‰);③人均国民生产总值(元);④农民人均纯收入(元);⑤第三产业占国民生产总值的比例(%);⑥耕地粮食产量(t/hm2);⑦化肥使用量(t/亩);⑧人均耕地(亩/人);⑨林业、牧业占农业总产值的比例(%)。

2)建立数据库,并与行政区划图进行配准,生成相应的社会经济分布特征图。

从中国西南各县人口密度分布图(图5-12,图版Ⅲ-1)上可以看到,碳酸盐岩分布对人口分布也存在某种制约关系,如广西高密度人口分布在桂南,湖南高密度人口分布在湘东、湘中、湘南,湖北高密度人口分布在鄂中、鄂东,重庆高密度人口分布于渝西北、渝西南。将此4省(区、市)的岩溶县的人口密度与非岩溶县人口密度作对比,则广西、湖南、湖北、重庆岩溶县的人口密度仅分别为非岩溶县的 8505%、8303%、4678%、5443%(表5-5),其岩溶县的农民收入也不及非岩溶县的。

图5-12 中国西南各县人口密度分布图

图5-13 中国西南各县人均国民生产总值分布图

表5-5 广西、湖南、湖北、重庆岩溶县人口密度、农民收入与非岩溶县对比

西南碳酸盐岩集中分布的中心贵州省,其人口分布密度明显高于周围的邻省(区、市),但它的人均国民生产总值则远比邻省(区、市)的低(图5-13、图版Ⅲ-2,图5-14)。

图5-14 中国西南各省(区、市)人均国民生产总值排序

根据以上数据的提取和整理可获得22个指标、构成数据库,并进入统计模型计算。进入模型计算的指标包括:

平均海拔(m)、年平均降雨量(mm)、土地利用程度指数、灌丛覆盖率(%)、森林覆盖率(%)、灌丛地占土地的比例、森林占土地的比例、土地垦殖率、碳酸盐岩占土地的比例、净初级生产力(gC/m2·a)、土壤呼吸(gC/m2·a)、年平均气温(℃)、人口密度(人/km2)、人口自然增长率(‰)、人均国民生产总值(元)、农民人均纯收入(元)、第三产业占国民生产总值的比例(%)、耕地粮食产量(t/hm2)、化肥使用量(t/亩)、人均耕地(亩/人)、林业、牧业占农业总产值的比例(%)、岩溶县土壤养分综合指数。

有以下几种报表工具都可以实现:

1、 思迈特软件Smartbi的大数据分析软件:

“思迈特软件Smartbi”是企业级商业智能和大数据分析品牌,经过多年持续自主研发,凝聚大量商业智能最佳实践经验,整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。

2、MySQL Workbench:

MySQL Workbench是一款专为MySQL设计的ER/数据库建模工具。它是著名的数据库设计工具DBDesigner4的继任者。你可以用MySQL Workbench设计和创建新的数据库图示,建立数据库文档,以及进行复杂的MySQL 迁移,MySQL Workbench是下一代的可视化数据库设计、管理的工具,它同时有开源和商业化的两个版本。

3、数据库管理工具 Navicat Lite:

NavicatTM是一套快速、可靠并价格相宜的资料库管理工具,大可使用来简化资料库的管理及降低系统管理成本。它的设计符合资料库管理员、开发人员及中小企业的需求。 Navicat是以直觉化的使用者图形介面所而建的,让你可以以安全且简单的方式建立、组织、存取并共用资讯。

报表工具靠不靠谱,来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发,凝聚大量商业智能最佳实践经验,整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。

思迈特软件Smartbi个人用户全功能模块长期免费试用

马上免费体验:Smartbi一站式大数据分析平台

1、自己编写java程序,也就几十行代码,先访问数据库取数,再封装数据

2、很多啊,eclipse,myeclipse,jbuilder。。。

3、getconnection()

String DBDriver = SysConfiggetProperty("databasedefaultProviderdriver");

String DBUser = SysConfiggetProperty("databasedefaultProviderusername");

String DBPassword = SysConfiggetProperty("databasedefaultProviderpassword");

String DBUrl = SysConfiggetProperty("databasedefaultProviderserverURL");

//

ClassforName(DBDriver);

Properties myprop = SystemgetProperties();

mypropsetProperty("user",DBUser);

mypropsetProperty("password",DBPassword);

conn = DriverManagergetConnection(DBUrl,myprop);

PreparedStatement pstmt = connprepareStatement(query);

ResultSet rs = pstmtexecuteQuery();

4下载jfreechart的jar包,调用里面的方法,参考它的api,就是一步一步的多试验下

你好,提权数据库有两个方式,一种方式为服务器直接提权,另一种通过帝国备份王,或者运行程序进行脱裤,数据库有两种形式,一种为msql一种为aess形式,相比之下aess更容易进行脱裤,因为直接下载mdb文件既可,而msql需要在服务器,你可以用帝国备份王进行行脱裤

这样更简便,还有使用的图文说明

以上就是关于数据仓库怎么从业务系统中提取数据全部的内容,包括:数据仓库怎么从业务系统中提取数据、数据的获取、哪种报表工具,可以很简便的从SQL数据库中提取数据,生成想要的报表等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10192498.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-06
下一篇 2023-05-06

发表评论

登录后才能评论

评论列表(0条)

保存