大数据时代是未来的趋势,为了适应社会发展,必须建立,这样才能够生存下去。
何为大数据
过去,大数据指的是那些数量庞大而复杂的数据集,其大小超出了常用软件工具在可容忍的时间内捕获、管理和处理数据的能力。一个更能达成共识的定义就是:大数据代表的信息资产的特点是具有非常庞大的数量,产生的速度非常快以及数据的多样性,这些特点决定了需要特定的技术和分析方法来实现其价值的转化。因此,其实近期“大数据”已经很少用来指数据集的大小了,现在更倾向于指人们使用预测分析、用户行为分析或某些其他高级的数据分析方法,从数据中提取信息创造价值。因为数据本身的价值是无法直接可见的,但是通过各种数据计算和分析,可以将人们无法注意到的信息从数据中提取出来,创造价值。
这也是为什么企业们纷纷想搭建大数据分析平台的原因。每天企业的内部运营支撑系统和外部与客户的交互系统都能产生大量的数据,如何利用这些数据向企业内部和外部企业客户提供具有极大商业价值的信息支撑和智能解决方案已经成为企业的重要的无形资产。根据企业量身定做的大数据分析平台,可为企业提供报表工具、分析工具、结合企业的实际需求进行的解决方案实施服务;企业的管理人员、业务分析人员等也可以通过web、手机或者其他移动设备访问,以便随时了解企业的关键指标和进行深度业务分析。
何为大数据分析平台?
首先,最底层的是各种各样的数据源。当今的IT生态系统,需要对各种不同种类来源的数据进行分析。这些来源有可能是系统内部的日志数据,也有可能是来源于其他接口的数据等等。
然后从这些数据源采集各种符合企业需求的数据,经过验证、清洗、并转化为所需格式后,储存到一个合适的持久化储存层中。
下一阶段是数据的处理和分析,包括从数据分析人员从原始数据中分析出来的一些拓展信息,在这一阶段中的一部分干净数据是去规范化的,包括对一些相关数据集的数据进行一些排序,在规定的时间间隔内进行数据结果归集,执行机器学习算法,分析预测等。
最后一层,是可视化和展示各个不同分析算法处理过的结果。这个步骤包括从预先计算汇总的结果中读取和用一种友好界面或者表格的形式展示出来,这样便于企业内部非专业人员对数据分析结果的理解。
大数据分析平台的应用
最基础的大数据分析平台有上述的几层架构,如果是数据量庞大的企业,会需要架构更加复杂的分析平台。
如果我们现在要为一间规模庞大的金融集团构建大数据分析平台,这个金融集团的基本现状为其商城已经建立面向整个零售业务的数据仓库,整合了前台业务运营数据和后台管理数据,建立了面向零售的管理分析应用;并且开展了供应链金融、人人贷和保理等多种业务,积累了一定量的业务数据,同时业务人员也从客户管理、风险评级和经营规模预测等方面,提出了大量分析预测需求。但是该集团仍然存在一些问题,它的商城数据仓库积累的数据没有充分的利用,缺乏面向整个金融集团的统一、完整的数据视图,以及缺乏支撑金融集团日常业务运转的风险评估体系和客户的360度视图,客户行为分析和预测无法实现。
那么,想而知,对于这个集团目前建设基础数据平台和BI应用是未来一段时间的重点。通过数据平台和BI应用建设,他们可以搭建统一的大数据共享和分析平台,对各类业务进行前瞻性预测分析,并为集团各层次用户提供统一的决策分析支持,提升数据共享与流转能力。下图为该集团的大数据分析平台的效果图,可视为最终的建设目标。
如果你要考虑到SQL 2005 那就只有走 WINDOWS SERVER了 现在比较稳定的 用的多的 大部分还是 WINDOWS SERVER 2008 R2 这样MSSQL 和 MYSQL 以及 ORACLE都可以安装至于你说的数据库切换,一般需要你应用支持,ORM这个中间件来支持,比如JAVA的hibernate 以及.NET平台的 Entity Framework
数据库主要在于根据业务的设计和优化,MYSQL和MSSQL 照样能处理超大数据,当你数据存储量大的时候就 涉及到横向分库 纵向分区了,并发太大就要设计到数据群集了,这些都是在数据架构后面的事情了
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)