有什么办法使flume获得的数据持久化到数据库

归类到子程序包里。

“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。

SqlDataReader reader=xx.ExecuteReader()

while(reader.Reader())//判断是否还有下一条数据

{

//接受后的行内容可以在这里进行赋值，你会获取一行赋值，这里就是多行赋值，你可以先用实体类接收，然后放入list或者其他的集合当中，当需要的时候去遍历结合，或者datatable也可以，dateset也行。不知道你需要的什么方式赋值。

}

随着大数据技术体系的发展，越来越多的企业应用大数据技术支撑自己的业务发展。数据采集作为大数据的起点，是企业主动获取数据的一种重要手段。数据采集的多样性、全面性直接影响数据质量。

企业获取数据的渠道分为内部和外部两个渠道。内部渠道包含自己建设的业务系统，如电商系统、门户网站、门户论坛等。外部渠道包含爬虫系统爬取的数据、三方合作平台数据、公共社交平台数据等。那么如何从这些渠道获取数据？下面简单地介绍一下常用的数据采集工具。

结构化数据采集工具。

结构化数据在分析型的原始数据占比比较大，大部分经过预处理进入数据仓库进一步多维分析和数据挖掘。常用的数据采集工具有：

1 Apache Flume

支持离线与实时数据导入，是数据集成的主要工具。

2 Apache Sqoop

主要使用JDBC等工具连接关系型数据库与Hadoop生态圈的文件系统，通过配置文件配置双向连接信息后，通过命令完成数据的导入导出。

半结构化数据采集工具

半结构化的数据多见于日志格式。对于日志采集的工具，比较常见的是

1 Logstash

Logstash与ElasticSearch、Kibana并称为ELK，是采集日志的黄金搭档。

2 Apache Flume也多用于日志文本类数据采集。

非结构化数据采集工具

1 DataX

DataX轻量级中间件，在关系型数据库导入导出性能比较优异。支持多种数据类型的导入导出。

流式数据采集工具

1 Kafka

性能优异超高吞吐量。

Binlog日志采集工具

1 Canal

基于MySQL数据库增量日志解析提供增量日志订阅和消费功能。

爬虫采集框架与工具

1 Java栈，Nutch2、WebMagic等。

2 Python栈，Scrapy、PySpider

3 第三方爬虫工具，八爪鱼、爬山虎、后羿等等。

---