kettle有什么特点

引言

作为资深的DBA同胞你是否在工作中也存在这样的情况呢？公司要搭建数据平台，首要的工作就是把旧库的数据导入到新库中，虽然各种数据库都提供了导入导出的工具，但是数据需要存储到各个地方，MongoDB、HBase、MySQL、Oracle等各种各样的不同数据库，同步起来就有一些困难了。那么如何做好两个数据库之间、不同类型的数据库之间的相互迁移转换呢？

今天小编就常用的数据库同步、迁移转换工具进行一个汇总，以便大家在需要的时候，选择到合适的工具完成自己的工作~

一、SQLyog

SQLyog简介

SQLyog是业界著名的Webyog公司出品的一款简洁高效、功能强大的图形化MySQL数据库管理工具。使用SQLyog可以快速直观地让你从世界的任何角落通过网络来维护远端的MySQL数据库。它也是小编工作一直使用的MySQL管理客户端工具哦。

SQLyog特点

方便快捷的数据库同步与数据库结构同步工具；

易用的数据库、数据表备份与还原功能；

支持导入与导出XML、HTML、CSV等多种格式的数据；

直接运行批量SQL脚本文件，速度极快；

新版本更是增加了强大的数据迁移

二、Navicat

Navicat简介

Navicat是一套快速、可靠并且价格相当便宜的数据库管理工具，Navicat提供多达 7 种语言供客户选择，被认为是最受欢迎的数据库前端用户界面工具。它可以用来对本地或远程的 MySQL、SQL Server、SQLite、Oracle 及 PostgreSQL 数据库进行管理及开发。

Navicat支持功能

数据模型

数据传输

数据同步

结构同步

导入、导出、备份、还原、报表创建工具及计划以协助管理数据

三、Ottor

Ottor简介

Otttor是由阿里巴巴开源的一个数据同步产品,它的最初的目的是为了解决跨国异地整个机房的架构为双A，两边均可写。开发时间长达7年，并持续到现在。目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了Otter。Otter基于数据库增量日志解析，支持mysql/oracle数据库进行同步,在最新的v4213已经支持mysql57以及阿里云提供的RDS数据库。小编已经在实际项目中使用。

Ottor特点

基于Canal开源产品，获取数据库增量日志数据。 （什么是Canal,详情查看>

农用地分等数据成果丰富，按照农用地分等的流程可分为自然质量分、自然质量等指数、自然质量等别、土地利用系数、土地经济系数、利用等指数、利用等别、经济等指数和经济等别；按照农用地分等数据的性质可分为空间数据、属性数据、文本数据。为使农用地分等成果能够方便、直观地展现国家级、省级、县级、乡级各级农用地的质量与数量特征，实现对农用地分等数据的查询、分析、融合、分发等功能，必须建立一套统一、规范化的数据管理体系。这套体系能够从农用地分等的基础资料、中间成果和农用地分等成果（图、文、表）等海量数据中提取信息，供汇总平衡、调整、分析，为各级政府部门制定相关政策提供技术支持，是土地信息化的坚实基础，对各级农用地的数据（包括属性数据和矢量数据）进行更新、查询、检索和集成，建设农用地分等数据库。

农用地分等数据库的建设是实现土地资源数量、质量、产能与生态环境并重管理及国土信息化工程建设的基础保障，是实现国土资源现代化管理、社会化服务的必要前提，也是各级政府和国土资源管理部门切实保护基本农田、实施耕地占补按等级折算的重要手段。广西壮族自治区农用地分等自治区级与县级农用地分等成果主要包括文字成果、图件成果、数据成果和电子成果。

1文字成果

文字成果主要包括自治区级与县级农用地分等技术报告（包含县级农用地分等基础资料汇编等）。农用地分等技术报告主要包括4个方面的内容：一是分等对象所在区域的自然、经济和社会概况；二是分等技术方法，包括分等参数的确定，分等因素指标区、分等单元、土地利用系数等值区与土地经济系数等值区的划分方法，分等因素及其分值和权重的确定方法，等别划分方法，分等成果检验与调整方法，计算机技术在分等中的应用以及其他需要说明的技术问题等；三是分等成果及其分布特点和规律、地域组合特点、差异原因、农用地利用中存在的主要问题等；四是分等成果的应用分析。

2图件成果

图件成果具体包括分等单元图、农用地自然质量等别分布图、农用地利用等别分布图、农用地经济等别分布图、标准样地分布图。

3数据成果

数据成果包括广西壮族自治区的农用地分等单元原始属性数据表、样点投入产出调查数据表、农用地分等基本参数表、各指标区“指定作物－分等因素－自然质量分”记分规则表、农用地分等各指标区分等因素体系及其权重表、土地利用系数与土地经济系数汇总表、土地利用系数等值区间表、土地经济系数等值区间表、自治区级农用地分等单元指定作物计算结果表、自治区级农用地分等单元多作物综合计算结果表、农用地分等结果各乡（镇）面积汇总表、农用地分等结果各地类面积汇总表、自治区级农用地分等单元综合数据表、农用地标准样地属性数据表等，部分表格见附录。

4电子成果

广西壮族自治区农用地分等电子成果用光盘或硬盘保存，提交的农用地分等成果包括文字、图件和数据等成果的电子版本。

（二）农用地分等数据库建设的依据与内容

1农用地分等数据库建设的依据

农用地分等数据库建设首先要依据分等数据的特点：一是信息量巨大；二是数据与信息种类多种多样，按数据的特征分为属性数据和矢量数据，按数据的来源和性质分为农用地自然属性和社会经济属性，这些数据涉及土地学、农业学、地理学、测绘学、信息学和经济学等众多学科；三是成果具有复杂多层次的特征。其次，依据《农用地分等数据库标准》，农用地分等成果数据的内涵、特点及其应用需求，设计农用地分等数据库建设方案，按照《农用地分等规程》对农用地分等的各个环节及其成果数据进行整合加工标准化处理，把农用地分等成果的矢量数据和属性数据，通过关联式数据系统储存、管理、整合在一起，建立统一、规范的农用地分等数据库。

2农用地分等数据库建设的内容

农用地分等数据库建设的内容主要包括农用地分等数据的分类编码、农用地分等数据的图形要素分层、农用地分等数据的属性数据结构、分等单元扩展属性结构、外部表格信息和农用地分等数据文件命名6个方面的内容。

农用地分等数据的分类编码包括基础地理信息分类与编码、土地利用信息分类与编码和分等基础信息分类与编码。

农用地分等数据的属性数据结构内容复杂，主要包括基础地理、土地利用类图层属性表、注记属性表结构、县级分等基础层属性表结构、县级分等结果层属性表结构、自治区级分等基础层属性表结构、自治区级分等结果层属性表结构等内容。

分等单元扩展属性结构包括指定作物分等计算结果表结构和县级综合等别计算表结构。

外部表格信息包括指定作物参数表结构、“指定作物－分等因素－分值”说明表结构、“指定作物－分等因素－权重”说明表结构、标准样地属性特征基准分值表结构、“县级－自治区级”农用地分等单元对应表结构、县级文档结果和自治区级文档结果。

农用地分等数据文件命名规则包括以行政区为基础的数据文件命名规则和文档数据文件命名规则等内容。

（三）数据库系统的设计思想和目标

广西壮族自治区农用地分等数据管理信息系统的设计思想是以地理信息系统（GIS）为平台，在计算机软硬件支持下，把各种地理信息按照空间分布，以一定的格式输入、存储、检索、更新、显示、制图和综合分析的计算机技术系统。利用该系统，通过对农用地诸多因素（自然因素和社会经济因素）的综合分析，找出农用地变化的特点与规律，从而迅速地获取满足应用需要的信息，并能以地图、图形或数据的形式表示处理的结果。

1系统的设计思想和目标

广西壮族自治区农用地分等数据管理信息系统的设计是在充分研究和总结土地利用管理的实际工作需求和吸收目前计算机技术在土地管理中的应用经验的基础上，结合国土资源部新一轮国土资源大调查中《县级土地利用数据库标准》和《县（市）级土地利用数据库建设技术规范（征求意见稿）》而制定的。系统的设计综合了以下几方面的技术：①数字制图技术；②计算机的自动查询、检索分类、计算统计技术；③空间查询和分析技术；④空间信息的存储管理技术；⑤计算机网络技术。配套统一以上技术，将地理信息系统（GIS）技术应用到系统的设计中，形成系统基本的设计思想，即按照农用地分等数据的规范和标准，建立起农用地分等数据管理的技术路线和工艺流程，按照GIS的要求严格控制入库数据的精度；提供方便、快捷的实用工具，提高数据库的利用率和满足国土资源管理部门的工作需求；利用地理信息系统中的空间分析功能，完成对数据库的动态更新，维持数据库的现势性。

广西壮族自治区农用地分等数据管理信息系统设计的基本目标是满足国土资源管理部门对农用地分等数据的管理需求，提高土地管理的效率和质量，并且充分利用计算机技术来减轻土地管理工作的劳动强度，最终实现土地管理的信息化，构建“数字国土”工程的基础设施。

2数据入库

数据入库前要检查采集数据的质量，检查合格的数据方可入库。数据检查主要包括矢量数据几何精度和拓扑检查、属性数据完整性和正确性检查、图形和属性数据一致性检查、接边精度和完整性检查等。数据入库主要包括矢量数据、DEM数据、DOM数据、元数据等数据的入库。最后进行系统测试（图3-17）。

图3-17 入库工作流程图

数据入库前要对采集数据进行全面质量检查，并对错误进行改正，数据的检查与更正是数据建库中至关重要的一步。

（1）按照《县级土地利用数据库标准》、《农用地分等规程》等相关标准确定检查项，包括矢量数据几何精度和拓扑检查、属性数据完整性和正确性检查、图形和属性数据一致性检查、接

边完整性检查等。

（2）基于上述检查项，定制检查内容，配置相应的参数。

（3）按照定制的内容，系统自动实现批量检查，也可以采用人机交互方式对重点内容进行检查，对发现的错误及时修正。

（4）自动生成或手工编写检查报告，检查与更正工作结束（图3-18）。

图3-18 数据检查流程图

1）矢量数据入库

（1）数据检查。数据入库前，对矢量数据质量进行全面检查，并记录检查结果，对质量不合格的数据应予以返工，质量检查合格的数据方可入库。

（2）参数输入及其数据组织入库。依据参数设置的要求，向数据库管理系统中输入各种建库参数，对不同数据层的数据建立索引等，各要素数据可分层入库，也可批量入库。

（3）多尺度空间数据连接设置。对于多尺度空间数据库应设置连接参数，便于不同比例尺数据的显示。

2）元数据入库

利用数据库管理软件，采用人工和自动相结合的方法对各要素元数据内容进行检查和处理，导入各种元数据。

3）属性入库

利用Excel软件输入分等评价单元质量分值表，形成分等评价单元自然属性电子表格文件；再将各评价单元的土地利用系数和土地经济系数进行汇总，划分各等值区；然后，汇总到分等评价单元自然属性表中，计算农用地分等单元的自然质量等指数、利用等指数和经济等指数；利用相关软件将整个Excel总表转换到数据库中，存为DBASE格式文件；最后，根据关键属性字段挂接，使图、表合一，形成统一的空间数据库。

4）系统运行情况

数据入库完成后，对系统进行全面的测试；并对测试出现的问题进行全面分析和处理。

具体测试内容及要求为系统运行无死机现象；系统能对数据库中数据层进行组合查询，且数据结构正确；系统能够对数据进行汇总统计并输出相关表格成果；系统能按要求输出相关图件，等等。

（四）系统设计总体框架图

广西壮族自治区农用地分等评价数据管理系统横向包括农用地调查评价基础业务工作，纵向涵盖国家、省、市、县四级国土资源管理部门，其总体框架如图3-19和图3-20。

图3-19 总体框架横向结构图

图3-20 总体框架纵向结构图

（五）数据库系统功能的实现

依据农用地分等成果和土地利用管理的需求，该系统应具有以下基本功能：

1系统建库

系统建库是指把农用地分等成果及其涉及的信息用计算机存储起来，它具有两个方面的含义：一是全面进行数字化建库，采用MapGIS的数据结构和几何特征的描述术语，输入农用地分等数据；还可在已有的图形数据库的基础上进行建库，可利用MapGIS平台提供的数据转换和属性管理工具把图形和属性转换到系统中来；二是变更数据，根据农用地分等进展情况，及时更新农用地分等数据信息系统。

2数据查询和检索

数据查询和检索模块是系统的主要功能模块。该系统提供了强大的地图浏览、图层控制、空间索引、查询统计、空间分析和报表输出等功能，为实现统筹数量、质量与生态并重管理，建设资源节约型社会提供了良好的手段；同时，也满足公众参与管理农用地分等数据的功能，加大土地科学普及工作，树立全社会关注农用地资源安全、耕地保护与国家粮食安全的意识；通过模糊查询、条件查询、空间查找等具体功能可以快速查询村、国家级基本农田、地类图斑等重要对象的空间位置和属性信息；能对县（市、区）各级数据进行实时动态的统计汇总，并可用专题图的形式对不同区域的农用地分等数据按不同的指标进行对比分析，可以输出各种图形和报表；可以根据不同的业务需要，设计不同的数据应用分析模型，例如征地分析模型、土地开发整理前后质量评价模型、土地利用变化模型等。通过系统，按这些模型进行处理，输出分析结果，从而有效地促进国土资源管理工作的信息化、科学化、专业化，提高办事效率，避免决策失误。

3成果输出

依据农用地分等制图规范和土地利用管理需求，输出农用地分等图形和数据成果；还可以按行政区域及任意区域裁剪图件等。

4系统维护

该系统是按照国家的有关规程和标准进行设计的，可根据土地管理实际情况做进一步的编码和更新，满足国土资源管理工作的实际需要。

请看sqllite增删改查的小例子，例子来自于android学习手册，里面有源码。android学习手册包含9个章节，108个例子，源码文档随便看，例子都是可交互，可运行，源码采用android studio目录结构，高亮显示代码，文档都采用文档结构图显示，可以快速定位。360手机助手中下载,图标上有贝壳

先介绍一下ORM的概念，以前也一直听说，不过没详细了解啥意思。其全称叫做对象关系映射（Object Relation Mapping），是一种程序设计技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上说，它其实是创建了一个可在编程语言里使用的“虚拟对象数据库”。

面向对象是从软件工程基本原则(如耦合、聚合、封装)的基础上发展起来的，而关系数据库则是从数学理论发展而来的  两者之间是不匹配的而ORM作为项目中间件形式实现数据在不同场景下数据关系映射 对象关系映射是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术ORM就是这样而来的。

下面先列出几个ORM框架：ORMLite、greendao、ormndroid、androrm、ActiveAndroid

其中以前最早接触过ormlite，GreenDao了解过，其他的几个真没怎么见过。所以这里主要介绍ormlite和GreenDao。

最开始现在stackoverflow输入sqlite orm关键字，搜索出了一些相关的文章：>

ormlite

基于注解和反射的的方式,导致ormlite性能有着一定的损失(注解其实也是利用了反射的原理)

优点：

文档较全面，社区活跃，有好的维护，使用简单，易上手。

缺点：

基于反射，效率较低

GreenDao

官网中明确指明了其首要设计目标:

Maximum performance (probably the fastest ORM for Android):系能最大化

Easy to use APIs：便于使用

Highly optimized for Android：对于Android高度优化

Minimal memory consumption：最小化内存开销

Small library size, focus on the essentials：较小的文件体积，只集中在必要的部分上。

优点：

效率很高，插入和更新的速度是sqlite的2倍，加载实体的速度是ormlite的45倍。官网测试结果：>

/greendao-ormcom/features/

文件较小（<100K），占用更少的内存 ，但是需要create Dao，

*** 作实体灵活：支持get，update，delete等 *** 作

缺点：

学习成本较高。其中使用了一个java工程根据一些属性和规则去generate一些基础代码，类似于javaBean但会有一些规则，另外还有QueryBuilder、Dao等API，所以首先要明白整个过程，才能方便使用。没有ORMLite那样封装的完整，不过greenDao的官网上也提到了这一点，正是基于generator而不是反射，才使得其效率高的多。

另外GreenDao支持Protocol buffers协议数据的直接存储 ，如果通过protobuf协议和服务器交互，不需要任何的映射。

Protocol Buffers协议：以一种高效可扩展的对结构化数据进行编码的方式。google内部的RPC协议和文件格式大部分都是使用它。

RPC：远程过程调用（Remote Procedure Call，RPC）是一个计算机通信协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。

可能因为GreenDao的效率高，而且需要学习成本高点，所以个人还是有兴趣学一学的。接下来会发布一些GreenDao更详细的文章，有对官方文档的翻译还有代码的简单讲解。

或许以上内容很简单，只是简单的介绍了下，对其它几个框架并没有做更多的介绍，有了解的朋友可以提出来，可以提出来，大家一起探讨下。

以上就是关于kettle有什么特点全部的内容，包括:kettle有什么特点、分等数据库的建设、android 数据库框架哪个好等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！