Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+Zookeeper+Hbase+Hive+Sqoop
1.HDFS:分布式文件系统,适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭 之后就不需要改变。
2.Yarn:分布式资源管理系统,用于同一管理集群中的资源(内存等)
3.MapReduce:Hadoop的编程框架,用map和reduce方式实现分布式程序设计,类似于Spring。
4.Pig:MapReduce的一个抽象,它是一个工具/平台(所以说它并不完全是一门语言),用于分析较大数据集,并将其表示为数据流;
5.Zookeeper:分布式集群管理、master选举、消息发布订阅、数据存储、分布式锁等等。分布式协调服务,用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等
6.Hbase:Hadoop下的分布式数据库,类似于NoSQL
7.Hive:数仓工具,Hive进行数据离线批量处理时,需将查询语言先转换成MR任务,由MR批量处理返回结果,所以Hive没法满足数据实时查询分析的需求。
8.Sqoop:用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)