五大商业分析技术趋势及使用方式(1)

五大商业分析技术趋势及使用方式(1)

目前，趋势中心对如何应对分析挑战的关注力度并不亚于他们考虑在新商业视角中如何充分利用机遇的力度。例如，随着越来越多的公司开始不得不面对海量数据以及考虑如何利用这些数据，管理与分析大型不同数据集的技术开始出现。提前分析成本与性能趋势意味着公司能够提出比以前更为复杂的问题，提供更为有用的信息以帮助他们运营业务。

    在采访中，首席信息官们总结出了5大影响他们进行分析的IT趋势。它们分别为：大数据的增长、快速处理技术、IT商品的成本下降、移动设备的普及和社交媒体的增长。

    1 大数据

    大数据指非常庞大的数据集，尤其是那些没有被整齐的组织起来无法适应传统数据仓库的数据集。网络蜘蛛数据、社交媒体反馈和服务器日志，以及来自供应链、行业、周边环境与监视传感器的数据都使得公司的数据变得比以往越来越复杂。

    尽管并不是每个公司都需要处理大型、非结构型数据集的技术。Verisk Analytics公司首席信息官Perry Rotella认为所有的首席信息官都应当关注大数据分析工具。Verisk帮助金融公司评估风险，与保险公司共同防范保险诈骗，其在2010年的营收超过了10亿美元。

    Rotella认为，技术领导者对此应当采取的态度是，数据越多越好，欢迎数据的大幅增长。Rotella的工作是预先寻找事物间的联系与模型。

    HMS公司首席信息官Cynthia Nustad认为，大数据呈现为一种“爆炸性”增长趋势。HMS公司的业务包括帮助控制联邦医疗保险（Medicare）和医疗补助（Medicaid）项目成本和私有云服务。其客户包括40多个州的健康与人类服务项目和130多个医疗补助管理计划。HMS通过阻止错误支付在2010年帮助其客户挽回了18亿美元的损失，节约了数十亿美元。Nustad称：“我们正在收集并追踪大量素材，包括结构性与非结构性数据，因为你并不是总是知道你将在其中寻找什么东西。”

    大数据技术中谈论最多的一项技术是Hadoop。该技术为开源分布式数据处理平台，最初是为编辑网络搜索索引等任务开发的。Hadoop为多个“非关系型（NoSQL）”技术（其包括CouchDB 和 MongoDB）中的一种，其通过特殊的方式组织网络级数据。

    Hadoop可将数据的子集合分配给成百上千台服务器的处理，每台服务器汇报的结果都将被一个主作业调度程序整理，因此其具有处理拍字节级数据的能力。Hadoop既能够用于分析前的数据准备，也能够作为一种分析工具。没有数千台空闲服务器的公司可以从亚马逊等云厂商那里购买Hadoop实例的按需访问。

    Nustad称，尽管并不是为了其大型的联邦医疗保险和医疗补助索赔数据库，但是HMS正在探索NoSQL技术的使用。其包括了结构性数据，并且能够被传统的数据仓库技术所处理。她称，在回答什么样的关系型技术是经实践证明最好用的解决方案时，从传统关系型数据库管理出发是并不明智。不过，Nustad认为Hadoop正在防止欺诈与浪费分析上发挥着重要作用，并且具备分析以各种格式上报的病人看病记录的潜力。

    在采访中，那些体验过Hadoop的受访首席信息官们，包括Rotella和Shopzilla 公司首席信息官Jody Mulkey在内都在将数据服务作为公司一项业务的公司中任职。

    Mulkey称：“我们正在使用Hadoop做那些以往使用数据仓库做的事情。更重要的是，我们获得了以前从未用过的切实有用的分析技术。”例如，作为一家比较购买网站，Shopzilla每天会积累数太字节的数据。他称：“以前，我们必须要对数据进行采样并对数据进行归类。在处理海量数据时，这一工作量非常繁重。”自从采用了Hadoop，Shopzilla能够分析原始数据，跳过许多中间环节。

    Good Samaritan医院是一家位于印第安纳州西南的社区医院，其处于另一种类型。该医院的首席信息官Chuck Christian称：“我们并没有我认为是大数据的东西。”尽管如此，管理规定要求促使其存储整如庞大的电子医疗记录等全新的数据类型。他称，这无疑要求他们要能够从数据中收集医疗保健品质信息。不过，这可能将在地区或国家医疗保健协会中实现，而不是在他们这种单个医院中实现。因此，Christian未必会对这种新技术进行投资。

    Island One Resorts公司首席信息官John Ternent称，其所面临的分析挑战取决于大数据中的“大”还是“数据”。不过，目前他正在谨慎地考虑在云上使用Hadoop实例，以作为一种经济的方式分析复杂的抵押贷款组合。目前公司正在管理着佛罗里达州内的8处分时度假村。他称：“这种解决方案有可能解决我们目前正遇到的实际问题。”

    2商业分析速度加快

    肯塔基大学首席信息官Vince Kellen认为，大数据技术只是快速分析这一大趋势中的一个元素。他称：“我们期待的是一种更为先进的海量数据分析方法。”与更为快速地分析数据相比，数据的大小并不重要，“因为你想让这一过程快速完成”。

    由于目前的计算能够在内存中处理更多的数据，因此与在硬盘中搜索数据相比，其计算出结果的速度要更快。即使你仅处理数G数据，但情况依然与此。

    尽管经过数十年的发展，通过缓存频繁访问的数据，数据库性能提升了许多。在加载整个大型数据集至服务器或服务器集群的内存时，这一技术变得更加实用，此时硬盘只是作为备份。由于从旋转的磁盘中检索数据是一个机械过程，因此与在内存中处理数据相比，其速度要慢许多。

    Rotella称，他现在几秒中进行的分析在五年前需要花上一个晚上。Rotella的公司主要是对大型数据集进行前瞻性分析，这经常涉及查询、寻找模型、下次查询前的调整。在分析速度方面，查询完成时间非常重要。他称：“以前，运行时间比建模时间要长，但是现在建模时间要比运行时间长。”

    列式数据库服务器改变了关系型数据库的传统行与列结构，解决了另一些性能需求。查询仅访问有用的列，而不是读取整个记录和选取可选列，这极大地提高了组织或测量关键列的应用的性能。

    Ternent警告称，列式数据库的性能优势需要配合正确的应用和查询设计。他称：“为了进行区别，你必须以适当的方式问它适当的问题。”此此同时，他还指出，列式数据库实际上仅对处理超过500G字节数据的应用有意义。他称：“在让列式数据库发挥作用之前，你必须收集一规模的数据，因为它依赖一定水平的重复提升效率。”

    保险与金融服务巨头John Hancock公司的首席信息官Allan Hackney称，为了提高分析性能，硬件也需要进行提升，如增加GPU芯片，其与游戏系统中用到的图形处理器相同。他称：“可视化需用到的计算方法与统计分析中用到的计算方法非常相似。与普通的PC和服务器处理器相比，图形处理器的计算速度要快数百倍。我们的分析人员非常喜欢这一设备。”

以上是小编为大家分享的关于五大商业分析技术趋势及使用方式(1)的相关内容，更多信息可以关注环球青藤分享更多干货

目前流行的 DBMS（Database Management System，数据库管理系统）包括：

1 关系型数据库管理系统（RDBMS）：这是一种按照行和列的方式来存储和管理数据的 DBMS。常见的关系型 DBMS 有：

- Oracle

- MySQL

- Microsoft SQL Server

- PostgreSQL

- IBM DB2

- SQLite

2 非关系型数据库管理系统（NoSQL）：这是一种针对大数据、高并发、高可扩展性等方面设计的数据库。它们采用的数据模型不同于传统的关系型数据库的模型。常见的 NoSQL DBMS 有：

- MongoDB

- Couchbase

- Cassandra

- Redis

- HBase

3 新型数据库管理系统：这是一些全新的数据库管理系统，它们采用了一些新的数据库架构和技术，包括图形数据库、列式数据库、内存数据库等。常见的新型 DBMS 有：

- Neo4j

- Vertica

- Google Bigtable

- Apache Ignite

- SAP HANA

不同的 DBMS 适用于不同的应用场景。在选择 DBMS 时，需要根据具体的需求和应用场景进行评估和选择。例如，如果需要处理大容量、高速读写的数据，则 NoSQL 数据库可能更适合；而如果需要具有严格事务控制、复杂查询的应用，则关系型数据库可能更适合。

传统的行式数据库，是按照行存储的，维护大量的索引和物化视图无论是在时间(处理)还是空间(存储)方面成本都很高。而列式数据库恰恰相反，列式数据库的数据是按照列存储，每一列单独存放，数据即是索引。只访问查询涉及的列，大大降低了系统I/O，每一列由一个线来处理，而且由于数据类型一致，数据特征相似，极大方便压缩。行式数据库擅长随机读 *** 作，列式数据库则更擅长大批量数据量查询

Web10的时代，数据访问量很有限，用一夫当关的高性能的单点服务器可以解决大部分问题。

随着Web20的时代的到来，用户访问量大幅度提升，同时产生了大量的用户数据。加上后来的智能移动设备的普及，所有的互联网平台都面临了巨大的性能挑战。

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。

NoSQL 不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。

Memcache Memcache Redis Redis MongoDB MongoDB 列式数据库 列式数据库 Hbase Hbase

HBase是Hadoop项目中的数据库。它用于需要对大量的数据进行随机、实时的读写 *** 作的场景中。

HBase的目标就是处理数据量非常庞大的表，可以用普通的计算机处理超过10亿行数据，还可处理有数百万列元素的数据表。

Cassandra Cassandra

Apache Cassandra是一款免费的开源NoSQL数据库，其设计目的在于管理由大量商用服务器构建起来的庞大集群上的海量数据集(数据量通常达到PB级别)。在众多显著特性当中，Cassandra最为卓越的长处是对写入及读取 *** 作进行规模调整，而且其不强调主集群的设计思路能够以相对直观的方式简化各集群的创建与扩展流程。

主要应用：社会关系，公共交通网络，地图及网络拓谱(n(n-1)/2)

>

非关系型数据库严格上不是一种数据库，应该是一种数据结构化存储方法的集合，可以是文档或者键值对等。当初我在黑马程序员培训时候就学过。

优点：

1、格式灵活：存储数据的格式可以是key,value形式、文档形式、形式等等，文档形式、形式等等，使用灵活，应用场景广泛，而关系型数据库则只支持基础类型。

2、速度快：nosql可以使用硬盘或者随机存储器作为载体，而关系型数据库只能使用硬盘；

3、高扩展性；

4、成本低：nosql数据库部署简单，基本都是开源软件。

缺点：

1、不提供sql支持，学习和使用成本较高；

2、无事务处理；

3、数据结构相对复杂，复杂查询方面稍欠。

非关系型数据库的分类和比较：

1、文档型

2、key-value型

3、列式数据库

4、图形数据库

以上就是关于五大商业分析技术趋势及使用方式(1)全部的内容，包括:五大商业分析技术趋势及使用方式(1)、目前流行的DBMS有哪些、行式数据库和列式数据库的优缺点是什么，行式数据库和列式数据库的执行效率比较一下等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/sjk/9345424.html