Es On Hadoop

Es On Hadoop 序言

现在Hadoop越来越像一个平台了.里面可以住进去各种商家,商家种类有2种.1就是做存储的,2就是做计算的[email protected]

这里收集整理下Elasticsearch在Haoop上的应用.

官网:面向 Hadoop 的 Elasticsearch | Elastic

特点

es和hadoop的整合的目的如官网所说:

Elasticsearch-Hadoop (ES-Hadoop) 连接器将 Hadoop 海量的数据存储和深度加工能力与 Elasticsearch 实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据，并让您在 Hadoop 生态系统中更好地开展工作。

总的来说就是解决Hadoop 数据处理不够实时的问题.当然这也是在一定数据范围内,选择ES-Hadoop能够带来更好的体验,但是如果更大的数据计算就会适得其反[email protected]

让数据在 Elasticsearch 和 Hadoop 之间无缝移动

只有实现了数据的快速移动，才能让实时决策成为可能。凭借现有 Hadoop API 的动态扩展程序，ES-Hadoop 让您能够在 Elasticsearch 和 Hadoop 之间轻松地双向移动数据，同时借助 HDFS 作为存储库，进行长期存档。分区感知、故障处理、类型转换和主机托管均可透明地完成

多技术支持

ES-Hadoop 完全支持 Spark、Spark Streaming 和 SparkSQL。此外，无论您使用 Hive、Pig、Storm、Cascading，还是标准 MapReduce，ES-Hadoop 都将提供本地对接，供您向 Elasticsearch 索引数据并从 Elasticsearch 查询数据。无论您用哪种技术，Elasticsearch 的所有功能任您支配。

总结

从使用角度总结一下.

ES-Hadoop是个由ES维护的一个开源项目,方便各种技术进行整合.比如SparkSql.在代码上的体现就是需要我们引入一个工程类似于驱动吧[email protected]

    org.elasticsearch
    elasticsearch-hadoop