数据入库流程

一、规范数据入库流程

规范化的 *** 作流程是避免 *** 作错误产生的有效手段。据此，对航空物探数据入库过程中的数据质量检查内容和方法进行了分析，归纳出系统检查9项和拓扑检查5项（表5-5）。考虑到在数据入库过程中，需要给数据采集人员授予数据库数据编辑和删除权限（以便编辑录入的错误数，删除导入的不正确数据），在编辑或删除数据库数据时，有可能错误地编辑或删除已归档数据，破坏归档数据的完整性和正确性等因素，提出了航空物探数据库入库数据质量检查的规范化流程（图5-2）。

表5-5 入库数据系统检查和拓扑检查

1）创建项目，在数据入库前先创建项目，按项目导入或录入数据。

2）入库前系统检查，导入或录入的入库数据必须通过系统的入库前检查（数据唯一性、数据类型、缺项检查），才能保存到采集库中。

3）数据进入采集库后，须接受入库后系统检查。若是空间数据必须接受拓扑检查，再与原数据文件进行逐字节比较检查，均通过后，进人工检查。

4）人工检查与人工复核，对项目概况数据、空间要素类数据（图形和属性）、文字数据、图件数据、可制成图件的对象类数据应进行人工检查与人工复核。检查方法是人工比对。该方法劳动强度大，检查人员要有较强的责任心才能发现其中的错误。人工检查与人工复核的工作内容相同，系统要求人工检查与人工复核必须由不同人员完成，加强数据检查力度，尽量消除人为因素造成的错误。

图5-2 规范化的数据入库流程

5）系统归档检查，对入库数据的非空字段进行的检查。系统归档检查通过后，入库数据可归档存入资料库。

经测试，严格按照该数据入库流程开展数据入库工作。航空物探资料库数据与入库前原数据文件数据的一致性可达100%。

该流程将入库数据与资料库数据分离，单独建立一个数据采集数据库（简称“采集库”），把待入库数据暂存在采集库中。入库数据在采集库中接受各项质量检查和编辑，或删除 *** 作，直至达到数据入库质量要求，归档进入资料库（进入资料库的数据除数据库管理员外其他用户是无权对其实施编辑或删除 *** 作的），保证资料库数据的一致性和完整性，为整体提高航空物探数据库的质量提供了保障。

二、规则化数据检查方法

50多年来航空物探取得大量的基础资料和成果资料，这些资料在地学基础研究、油气资源评价等领域发挥的重要作用日益显现。人们越来越重视利用航空物探资料来解决所遇到的地质问题等，同时人们也很想了解所用资料的来源、质量等信息（如资料的测量年代、测量方法、仪器精度、飞行高度、定位精度，数据处理方法等），来评价问题解决的可信度。这也正是本信息系统建设者想要给用户提供的。历史已既成事实，许多与资料质量有关的信息，例如在使用数字收录以前有不少项目的测量仪器精度、飞行高度、定位精度等现已处可寻。

过去的不足证明现在的进步，尊重历史尽力适应未来的技术发展，是本信息系统建设所遵循的宗旨。因此，根据资料的实际情况，提出了入库数据有效性检查的规则化方法，较好地解决了不同年代资料信息不齐全的数据入库质量检查问题。

按照通常做法，在软件代码中直接编写出每个数据库表需要做检查字段的有效性检查代码。

航空物探信息系统建设

本系统采用规则化方法检查入库数据。在完成数据库结构设计之后，针对每张数据库表中每个字段制定了入库数据正确性的检查规则，建立动态检查规则表，针对不同的检查规则编写检查函数，从数据库中获取被检查表数据库字段的检查规则，对入库数据进行检查的。规则化方法代码实现的示例如下：

航空物探信息系统建设

系统检查采用传统检查方法实现代码量约15345行（表5-6），代码开发工作量很大，且灵活性差，不利于后期代码维护和扩展，如添加表或表添加检查字段后都需要对代码进行重新修改和编译。而本系统的规则化方法代码量仅495行（表5-6），只有传统检查方法代码的322%，且添加表或表添加检查字段后不需要修改代码；用户在数据入库时，根据实际需要直接修改检查规则表即可。

表5-6 系统检查两种实现方式代码量对比表

大致流程

如果是纯JSP技术的话：

1、创建model类，对应表a的表元（每个model类的对象对应表a的一行，model类的属性对应表a的字段）

2、创建取表a数据的类（ *** 作A表的类）：类中有取表A所有数据的方法如：publicList()；//实现取数据即将a表的每行包装成一个model类对象，然后添加到一个List中，返回该List

3、JSP页面中引入 *** 作a表的类；然后创建其一个 *** 作对象；调用方法得到包含所有数据的List。

4、JSP中用for循环输出List中的内容结合HTML实现显示。

常用的数据获取方式有：

1、公开信息及整理

比如统计局的数据、公司自己发布的年报、其他市场机构的研究报告、或者根据公开的零散信息整理;

2、购买的数据库

市场上有很多产品化的数据库，比如Bloomberg、OneSource、Wind等等，这个一般是以公司的名义买入口，不光咨询公司还有很多高等院校及研究机构也买了;

3、自己的数据库

自己维护的数据库有，但是比较少，一是专业的数据公司差不多能想到的都做了，二是自己做数据库其实是一件很麻烦的事情。在有些数据是外界无法得到的情况下有可能自己维护一个小型的数据库;

4、咨询行业专家

当然是有偿的，这个在项目中应该蛮常见的。有些行业专家会专门收集和销售数据，想要的基本能买到。

5、发问卷

有时候为了单独的项目也会收集很特别的数据，如果外界实在没有但是项目上没有不行就只有自己做了，比如自己发发问卷之类的，但是这类数据需求要控制工作量，因为除非数据本身是交付内容之一，要不然不能为了个中间件花费太多时间和精力;

6、客户

有些数据就是来源于客户，甚至是咨询公司的产品。举个例子，比如HR咨询公司的行业工资数据、四大的一些数据库等等，这些数据的采集需要比较强的专业性或者时间积累，很大一部分是通过调查客户的HR收集来的数据进行统计的。

以上就是关于数据入库流程全部的内容，包括:数据入库流程、读取数据库中的值(获取数据库)、有哪些的数据获取方式等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！