大数据分析一般用什么工具分析

Excel：日常在做通报、报告和抽样分析中经常用到，其图表功能很强大，处理10万级别的数据很轻松。

UltraEdit：文本工具，比TXT工具好用，打开和运行速度都比较快。

ACCESS：桌面数据库，主要是用于日常的抽样分析(做全量统计分析，消耗资源和时间较多，通常分析师会随机抽取部分数据进行分析)，使用SQL语言，处理100万级别的数据还是很快捷。

Orcle、SQL sever：处理千万级别的数据需要用到这两类数据库。

当然，在自己能力和时间允许的情况下，学习新流行的分布式数据库及提升自身的编程能力，对未来的职业发展也有很大帮助。

分析软件主要推荐：

SPSS系列：老牌的统计分析软件，SPSS Statistics(偏统计功能、市场研究)、SPSS Modeler(偏数据挖掘),不用编程，易学。

SAS：老牌经典挖掘软件，需要编程。

R：开源软件，新流行，对非结构化数据处理效率上更高，需编程。

1、Java编程技术

Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的!

2、Linux命令

对于大数据开发通常是在Linux环境下进行的，相比Linux *** 作系统，Windows *** 作系统是封闭的 *** 作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础 *** 作命令。

3、Hadoop

Hadoop是大数据开发的重要框架，其核心是HDFS和MapRece，HDFS为海量的数据提供了存储，MapRece为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与 *** 作!

4、Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRece任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级 *** 作等。

5、Avro与Protobuf

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRece任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级 *** 作等。

6、ZooKeeper

ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

7、HBase

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。

8、phoenix

phoenix是用Java编写的基于JDBCAPI *** 作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

9、Redis

phoenix是用Java编写的基于JDBCAPI *** 作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

以下为大家介绍几个代表性数据分析平台：

1、Cloudera

Cloudera提供一个可扩展、灵活、集成的平台，可用来方便的管理您的企业中快速增长的多种多样的数据，从而部署和管理Hadoop和相关项目、 *** 作和分析您的数据以及保护数据的安全。ClouderaManager是一个复杂的应用程序，用于部署、管理、监控CDH部署并诊断问题，ClouderaManager提供AdminConsole，这是一种基于Web的用户界面，是您的企业数据管理简单而直接，它还包括ClouderaManagerAPI，可用来获取集群运行状况信息和度量以及配置ClouderaManager。

2、星环Transwarp

基于hadoop生态系统的大数据平台公司，国内唯一入选过Gartner魔力象限的大数据平台公司，对hadoop不稳定的部分进行了优化，功能上进行了细化，为企业提供hadoop大数据引擎及数据库工具。

3、阿里数加

阿里云发布的一站式大数据平台，覆盖了企业数仓、商业智能、机器学习、数据可视化等领域，可以提供数据采集、数据深度融合、计算和挖掘服务，将计算的几个通过可视化工具进行个性化的数据分析和展现，图形展示和客户感知良好，但是需要捆绑阿里云才能使用，部分体验功能一般，需要有一定的知识基础。maxcompute(原名ODPS)是数加底层的计算引擎，有两个维度可以看这个计算引擎的性能，一个是6小时处理100PB的数据，相当于1亿部高清**，另外一个是单集群规模过万台，并支持多集群联合计算。

4、华为

基于Apache进行功能增强的企业级大数据存储、查询和分析的统一平台。完全开放的大数据平台，可运行在开放的x86架构服务器上，它以海量数据处理引擎和实时数据处理引擎为核心，针对金融、运营商等数据密集型行业的运行维护、应用开发等需求，打造了敏捷、智慧、可信的平台软件。

5、网易猛犸

网易猛犸大数据平台使一站式的大数据应用开发和数据管理平台，包括大数据开发套件和hadoop发行版两部分。大数据开发套件主要包含数据开发、任务运维、自助分析、数据管理、项目管理及多租户管理等。大数据开发套件将数据开发、数据分析、数据ETL等数据科学工作通过工作流的方式有效地串联起来，提高了数据开发工程师和数据分析工程师的工作效率。Hadoop发行版涵盖了网易大数据所有底层平台组件，包括自研组件、基于开源改造的组件。丰富而全面的组件，提供完善的平台能力，使其能轻易地构建不同领域的解决方案，满足不同类型的业务需求。

6知于大数据分析平台

知于平台的定位与当今流行的平台定位不一样，它针对的主要是中小型企业，为中小型企业提供大数据解决方案。现阶段，平台主打的产品是舆情系统、文章传播分析与网站排名监测，每个服务的价格单次在50元左右，性价比极高。

总体来说，主流数据库并不存在明确的好坏之分，每一种数据库都有各自的优缺点，最主要还是看它是否能够满足您的需求。

总的来说，选择数据库可以从以下角度考虑：

从个人角度出发的话，如果是以学习和小型业务需求为主，推荐使用MySQL，它的优势在于：

成本（免费）

自由（完全开源，适用多个场景）

性能（体积小但速度快）

这三点决定了MySQL数据库的超高性价比。并且目前有不少主流公司仍然青睐MySQL，大名鼎鼎的Fackbook就依然在延续MySQL的使用。

2 如果是企业角度出发，主流的大型数据库如Oracle、Sql Server以及近些年来大数据领域十分火热的非关系型数据库，例如Redis、HBse等等，都可以作为考虑的对象。

接下来具体列举一些常用数据库的优缺点，希望能为大家提供参考：

MySQL：

优势：

MySQL是开放源代码的数据库，任何人都可以获得该数据库的源代码。

MySQL能够实现跨平台 *** 作，可以在Windows、UNIX、Linux和Mac OS等 *** 作系统上运行。

MySQL数据库是一款自由软件，大部分应用场景下都是免费使用。

MySQL功能强大且使用方便，社区生态繁荣，有诸多学习资料。

缺点：规模小，功能有限。

SQL Server

高度可扩展：可以从单一的笔记本电脑上运行任何东西或以高倍云服务器网络运行，或在两者之间任何东西。

“虽然说是“任何东西”，但是仍然要满足相关的软件和硬件的要求“

生态链广：具有内置的商务智能工具，以及一系列的分析和报告工具，可以创建数据库、备份、复制，带来了更好的安全性。

Oracle

Oracle数据库系统是目前世界上流行的关系数据库管理系统，具有以下特点：

可移植性好（在各类大、中、小、微机环境中都适用）

使用方便、

功能强

因此，Oracle是一种高效率、可靠性好的、适应高吞吐量的数据库解决方案。

DB2

DB2是IBM开发的一种大型关系型数据库平台。它支持多用户或应用程序在同一条SQL 语句中查询不同database甚至不同DBMS中的数据。它的应用特点如下：

支持面向对象的编程：db2支持复杂的数据结构，如无结构文本对象，可以对无结构文本对象进行布尔匹配、最接近匹配和任意匹配等搜索。可以建立用户数据类型和用户自定义函数。

支持多媒体应用程序：db2支持大二分对象（blob），允许在数据库中存取二进制大对象和文本大对象。其中，二进制大对象可以用来存储多媒体对象。

具有良好的备份和恢复能力

支持存储过程和触发器，用户可以在建表时显示的定义复杂的完整性规则

支持异构分布式数据库访问，支持数据复制

PostgreSQL

PostgreSQL 是一个免费的对象-关系数据库服务器(ORDBMS)，它的 Slogan 是 “世界上最先进的开源关系型数据库”。

PostgreSQL具有如下特征：

函数：通过函数，可以在数据库服务器端执行指令程序。

索引：用户可以自定义索引方法，或使用内置的 B 树，哈希表与 GiST 索引。

触发器：触发器是由SQL语句查询所触发的事件。如：一个INSERT语句可能触发一个检查数据完整性的触发器。触发器通常由INSERT或UPDATE语句触发。 多版本并发控制：PostgreSQL使用多版本并发控制（MVCC，Multiversion concurrency control）系统进行并发控制，该系统向每个用户提供了一个数据库的”快照”，用户在事务内所作的每个修改，对于其他的用户都不可见，直到该事务成功提交。

规则：规则（RULE）允许一个查询能被重写，通常用来实现对视图（VIEW）的 *** 作，如插入（INSERT）、更新（UPDATE）、删除（DELETE）。

数据类型：包括文本、任意精度的数值数组、JSON 数据、枚举类型、XML 数据等。

全文检索：通过 Tsearch2 或 OpenFTS，83版本中内嵌 Tsearch2。

NoSQL：JSON，JSONB，XML，HStore 原生支持，至 NoSQL 数据库的外部数据包装器。

数据仓库：能平滑迁移至同属 PostgreSQL 生态的 GreenPlum，DeepGreen，HAWK 等，使用 FDW 进行 ETL

以上就是关于大数据分析一般用什么工具分析全部的内容，包括:大数据分析一般用什么工具分析、大数据分析一般用学习什么技术_适用于大数据分析的技术哪一个、大数据分析平台用哪个好等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！