什么是数据仓库,数据仓库在哪里保存数据。BI项目需要用到哪些技术

什么是数据仓库,数据仓库在哪里保存数据。BI项目需要用到哪些技术,第1张

数据仓库还是数据库,数据还是在数据库里放着呢,不过是按照数据仓库的理念去设计架构和开发数据库BI项目主要运用数据仓库,OLAP,和数据挖掘的技术,细分下来又有主流数据库的开发,如oracle,db2,sqlserver, java,cognos,bo,biee,sas,spss,clementine,weka等等

BI工程师主要是是做商业智能分析,对Sap的企业管理数据做分析,为领导决策,做预算,做企业战略分析用的工具等。

商业智能作为一个工具,是用来处理企业中现有数据,并将其转换成知识、分析和结论,辅助业务或者决策者做出正确且明智的决定。是帮助企业更好地利用数据提高决策质量的技术,包含了从数据仓库到分析型系统等。

扩展资料:

能够满足用户需要的BI产品和方案必须建立在稳定、整合的平台之上,该平台需要提供用户管理、安全性控制、连接数据源以及访问、分析和共享信息的功能。BI平台的标准化也非常重要,因为这关系到与企业多种应用系统的兼容问题,解决不了兼容问题,BI系统就不能发挥出应有效果。

这里我们通过对一个实验室的BI系统模型(我们将其称为D系统)进行功能解剖,来介绍BI系统。D系统是一个面向终端使用者,直接访问业务数据,能够使管理者从各个角度出发分析利用商业数据,及时地掌握组织的运营现状,作出科学的经营决策的系统。

参考资料来源:百度百科-sap bi

BI工具是指可以被视为收集、管理和分析商业信息的过程,目的是让企业的各级决策者获得知识或洞察力,促使他们作出对企业更为有利的决策,一般由数据仓库,在线分析处理,数据挖掘,数据备份与恢复等部分组成,主要涉及软件、硬件、咨询服务和应用等方面。

我认为BI工具主要有以下几种用途:

1、它能够实现复杂报表的展示与查询。其支持各类交叉、分组、分页、多表头,多格线等中国式复报表,支持参数查询,实现动态数据展示,提升报表统计效率。

2、支持数据采集与补录。通过表单填报、表格填报实现数据的采集与补录,支持添加校验及流程审批,可保障数据完整性,提升数据分析质量,也可轻松打造采集与分析一体化的业务应用系统。

3、可以进行数据处理。集数据建模及ETL设计的功能于一体,可预先对数据源进行整合及处理,帮助政府和企业构建数据仓库,提高数据质量,实现数据融合。

4、可以实现自助式分析。完全面向业务人员的敏捷BI分析功能。系统自动建模,通过鼠标拖拽维度和指标,即可实现数据看板、Word报告、PPT报告等数据分析结果,实现业务驱动的数据分析模式。

思迈特软件Smartbi是国家认定的“高新技术企业”,广东省认定的“大数据培育企业”, 广州市认定的“两高四新企业”,获得了来自国家、地方政府、国内外权威分析机构、行业组织、知名媒体的高度关注和认可。

bi工具靠不靠谱,来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发,凝聚大量商业智能最佳实践经验,整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。

思迈特软件Smartbi个人用户全功能模块长期免费试用

马上免费体验:Smartbi一站式大数据分析平台

我有时和商业智能BI项目上的同事闲聊,问他们在商业智能BI项目建设过程中,你觉得什么挑战性最大?有的人说我最怕业务逻辑太复杂,有的人说最怕用户的需求不明确,也有的人说复杂的业务场景不知道如何通过技术去实现,挑战性最大。大家说的都很有道理,那我来谈谈我个人觉得商业智能BI项目开发过程中什么问题挑战最大,我认为是数据质量的问题。

5、6年前我还在从事商业智能BI开发的时候碰到过一个项目,业务并不复杂,就是统计一些时间段的时间差额,最后算出每个用户在上面消耗的时间,做商业智能BI统计分析。但是在实际开发过程中发现,即使把业务规则理解的再透彻,开发完成之后到实际的生产环境跑数据,总有些数据对不上。在测试开发环境下反复的检查业务逻辑,都没有问题,我就陷于了深深的苦恼。

这个商业智能BI项目到底是什么环节出现了问题,是ETL跑的时候丢数据了?还是我的代码有问题?还是我对业务理解的不够?弄得我开始对自己的能力开始怀疑了。应该不会啊,我能力这么强,在商业智能BI项目上从来没有失手过,不至于连这个搞不定。在反复的自我检查之后,我基本上可以断定,是生产环境的数据有问题。

因为在有些商业智能BI项目上,开发测试和生产环境是完全隔离的,开发测试环境下的数据是有限的、不完整的,没有生产环境那么全。于是,申请看看商业智能BI项目分析生产环境的实际数据,结果一看,就发现问题了,就是生产环境的数据存在问题,并且问题还很大。

商业智能BI项目中,一个正常的数据逻辑,在生产环境下反复梳理,结果梳理出了24种异常数据的情况。原因是怎么造成的呢? 就是在业务系统中,有一个业务处理的流程,比如 A、B、C、D,正常情况下它应该是一个线性的、不可逆的 *** 作流程。

但是有些新用户在实际使用过程中,比如处理完A节点下面的N项 *** 作,就到了B节点,B节点处理完了就到了C节点。按道理,到了C节点是不可能回去重新对A节点的业务做任何 *** 作处理。结果在系统中就出现了这样的问题。就导致了在后台数据库中的数据节点序列的顺序在某些场景下完全是错乱的,存在大批量的异常 *** 作数据,让商业智能BI项目的数据质量出现了问题。

那么在商业智能BI统计分析的时候,这些异常 *** 作数据产生的时间序列就不应该被计算进来。当然,实际上的场景比我描述的要更加复杂。我大概描述一下,就是这里有一排房间,从左往右房间数量是无限的。

每个房间放了一个数据,你每往前走一个房间,都要记住之前每个房间做过什么事情,有什么样的数据。等到了第N个房间的时候,看到了一个数据,这个数据正好能和你之前走过的房间的某一个数据形成一个正确的时间序列,这样就需要记住之前每一个房间放的是什么,然后把这两个数据的时间差额给算出来,记下来。

再往前走的时候,又发现一个数据,这个数据和之前房间的某一个数据又对应上了,那么你上次完成的计算条件就不能成立了,就又需要重新组合一次。这个过程的处理非常复杂,我们把所有的场景全部梳理出来,有24种。拿这些场景和商业智能BI项目的业务人员去确认,业务人员基本上也弄不清楚,无法确认,因为数据太错乱了,已经超出他们对业务理解的范围了。

但最终,通过反复的看数据,找场景,还是把业务规则给确认了下来。最后到开发阶段,就这一项工作,整整耗费了我两周的商业智能BI开发时间。纯SQL和存储过程是无法直接实现的,后来是写了一段程序,再结合ETL和SQL才处理完毕。并且,模拟了一亿条数据,对所有的场景进行反复测试,没有问题。到现在上线已经很多年了,这个商业智能BI项目没有出现过任何问题。

实际上,这个商业智能BI项目的问题是一个业务系统上的逻辑漏洞,在业务系统上很好调整。就是当用户 *** 作到某一个节点的时候,前面已经 *** 作完成的节点不让他们再回去 *** 作,控制一下流程就可以了。

那么在以往他们这样反复的回头 *** 作,在业务流程上是不会出现太大问题,所以他们就忽略了商业智能BI项目的数据问题。这样一来,在做商业智能BI数据统计分析的时候,就需要把这些问题给考虑进去。结果把这个问题提交上去之后,供应商还是国外的,说排到半年之后才能解决。所以,这个事情从业务系统上推进不了,那就只能在商业智能BI层面来解决,但是所付出的代价就很大了。

所以,在业务系统建设过程中,很多问题不到数据层面,是无法发现很多潜在的问题的。因为用户有时为了省事,也能用,这些问题他们平常不会意识到,因为对他们日常工作没有太大的影响。到了商业智能BI层面,由于数据需要被统计分析,一种业务规则对应一种处理规则,是需要在开发过程中明确下来的。如果一种业务规则有N种特殊的数据处理场景,就需要对应N种数据处理开发过程,是无法像业务人员那样可以自动忽略的,这个工作量就大了。

简单来说,在业务系统中这个问题的调整可能只需要半天的开发时间就完全可以调整完毕。对于数据逻辑来说,在数据质量上的控制,越在源头端控制,效果越明显。这就是问题前置、程序前置处理。前面不处理,越往后放,后置处理,一旦进行商业智能BI等涉及数据的项目,问题就变得就难上加难。

所以业务系统的一个小的数据质量问题对商业智能BI而言可能就是需要投入巨大的时间和精力才能处理掉的,这就需要我们企业在业务系统的使用、 *** 作、程序规范性上真正的要重视起来,可以极大的降低商业智能BI实施开发过程中的时间成本。包括之前碰到的多个系统的数据档案信息不一致等问题,都是在业务系统规划之初没有提前规划而导致的。

移动BI_ERP数据分析_自助敏捷BI分析_数据可视化分析系统-派可数据

派可数据-商业智能BI_大屏BI可视化分析平台_用友BI财务分析_数据中台

以上就是关于什么是数据仓库,数据仓库在哪里保存数据。BI项目需要用到哪些技术全部的内容,包括:什么是数据仓库,数据仓库在哪里保存数据。BI项目需要用到哪些技术、BI工程师是干什么的、什么是bi工具等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9352665.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-27
下一篇 2023-04-27

发表评论

登录后才能评论

评论列表(0条)

保存