任何高效的将数据库中大量数据储存到本地

1、可以在远程服务器上备份数据库，然后下载.bak文件在本地恢复2、链接上远程服务器，选中要备份的数据库--》右击--》任务--》生成脚本然后根据向导执行，但是在“选择脚本选项”页面要把 编写数据的脚本 的选项 设置成TRUE，然后下一步，选择你要备份的表、存储过程、视图等 知道最后生成一个.sql文件，在本地执行就好了。

数据库技术的主要目的是研究如何组织和存储数据，如何高效地获取和处理数据。包括：信息，数据，数据处理，数据库，数据库管理系统以及数据库系统等。

数据库技术是信息系统的一个核心技术。是一种计算机辅助管理数据的方法，它研究如何组织和存储数据，如何高效地获取和处理数据。是通过研究数据库的结构、存储、设计、管理以及应用的基本理论和实现方法，并利用这些理论来实现对数据库中的数据进行处理、分析和理解的技术。

数据库技术涉及到许多基本概念，主要包括：信息，数据，数据处理，数据库，数据库管理系统以及数据库系统等。

数据库技术是现代信息科学与技术的重要组成部分，是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题。

在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。数据库技术的根本目标是要解决数据的共享问题。

如果数据量不是很大（G级别以下），文件不是特别零碎，可以直接存在硬盘上。

但是如果数据量已经/可能超过T级别，或者文件小且零碎，建议还是放在HDFS等分布式文件系统上。

我存储爬虫的html以及图片数据，是通过HDFS的MapFile格式存储的。MapFile是个已排序的键值对文件格式，我的键采用的是url的hash+采集时间，值就是文件内容。并且封装了原生的MapFile.Reader实现了读取和一定程度的缓存（目前只用了LRU）。

在HDFS提倡一次写入，多次读取的前提下，文件的更新只能是通过失效旧，使用新的策略。即把旧的元数据标记为失效，插入新的元数据，并把更新的文件写入HDFS。读取是通过新的元数据定位到文件。同时，要定期的清除已失效的文件，即把未失效的元数据读出来，将对应的文件写到新的MapFile，删除旧的MapFile，即可实现物理删除。

当然还可以使用HBase。HBase是面向列的，二进制存储的，可横向拓展的NoSQL。可以把不大于64M的数据作为单元格数据直接写进去。但是有一定的学习成本，而且对集群的硬件要求比较高。

---