VFP技术在网页数据采集中开发的方向分析

VFP技术在网页数据采集中开发的方向分析

随着信息技术对高校教育发展的变革，数字化资源建设在高校学习资源建设，构建学习型组织中扮演着重要角色。数字资源建设是满足现代化教学所需的一项重要教学基础资源，是学校、教师和学生进行学习，交流，分享，创新的重要原动力。各高校都把数字化资源建设当作重点工作开展。然而不少高校面临着数字资源建设经费不足，除了购置外部资源外，同时也要内部开发一些数字资源。对于数字资源的建设，各高校的数字资源建设有共性需求，也有个性的需求，并非外部采购能够解决。在这样的前提下，笔者尝试运用Visual FoxPro(以下简称VFP)技术构建可采集网页数据的系统，用以采集无版权问题的在线学习资源，将不同来源的学习资源汇聚于同一数据库，来构建主题数字资源库。

1、高校数字化资源采集需要VFP技术

11 满足基础服务需求的角度选型

从提供基础服务角度看，选用何种技术进行开发首先是从需求出发，是否能满足实际工作需要，系统是否能运行稳定、高效。而不仅仅是追求先进性。并非最先进的就是最能满足需要的。笔者进行的数据采集只是数字资源建设前期的数据整理阶段的阶段性的工具，在时间节点范围能能够满足高校对数据的抓取工作。因此，在需求明确导向前提下，用最经济的手段来实现基础服务的稳定和高效运行是最合理的。VFP兼有开发工具和数据库两方面特征，能够做到与 *** 作与数据的无缝衔接，在前期的数据采集与整理上完全能够满足用户需求。

12 存量用户与技术衍生性

VFP数据库在过去十年中在高校的普及应用率较高，不少教学服务部门的管理系统都是基于VFP开发的，如不少高校的教务系统，学工系统都是基于VFP开发等。因此，高校中的VFP存量用户较多，在新系统建设中，首先要考虑的系统对接的兼容性，后续增加的系统最好能和之前的系统能够无缝对接。而且，由于VFP的简单易学，在系统使用和维护中，不少老师也逐渐摸索、学习，逐渐掌握了 VFP的基础开发技能。因此，VFP来开发数据采集系统是一个可以被应用环境接受和用户认可的工具。

13 VFP自身的技术优势

VFP是开发工具同时其本身也是数据库。VFP数据库发展到现在已经相当成熟，VFP系统小巧，相比Oracle等数据库，其不会占用太多的存储空间。相比其他数据库，VFP的应用程序开发的效率较高，相比一些开发语言，VFP本身强大的查询功能。所以VFP是集开发和数据库的综合体，简单易学， *** 作灵活。同时，VFP互 *** 作性和对网络支持性较强。

2、网页数据采集系统设计

21 VFP技术介绍

VFP是Microsoft公司推出的数据库开发软件，提供多种可视化编程工具，最突出的是面向对象编程。支持结构化查询语言(SQL)命令和函数。由于其函数丰富、灵活方便、问世较早，在国内一段时期广为流行。目前最新的版本是90。时至今日，由于其稳定高效、易学易用，仍有大批高校将其作为小型数据库使用，不少网络教学管理系统前台软件也选用VFP开发。

22 系统设计目标

我们将VFP开发的网页数据采集系统应用于学校数字化资源建设子项目——开源版权的学习视频内容的采集，具体来说，是针对国外多所名校提供的开源版权视频源网址进行分析和数据爬取，最终将开源版权的文字和视频数据提取、索引并保存入学校的资源库。

23 系统功能结构

VFP开发的网页数据采集系统采用了模块化的设计，它由一些核部件和插件模块构成。核心部件可以配置，系统部件由管理控制台、抓取顺序控制器、中央控制器、流控制处理器、多线程控制组成。管理控制台允许 *** 作者进行参数设置和任务管理。抓取顺序控制器控制爬取活动的排序和相关属性。抓取任务通过排序后将任务信息传递给中央控制器进行初始化。中央控制器吞吐队列的URL信息和完成的URL 信息，并将任务指令传递给采集工作的'核心工作区——流控制处理器。核流控制处理器的任务处理是呈流式运作的，包括预读、提取和写入三个部分。流控制处理器的工作是多线程了，保证了整个采集的高效率。

在采集的核心工作区——在流控制处理器中，工作的流程是这样的：首先在接到中心控制器传送来的队列URL后，开始预读，预读主要是做一些预处理工作，对处理进行延迟和重新处理。接着，进行提取工作，提取主要是获得>

1就规模来说，vfp是一个中型数据库开发软件，比不上orical、infomation、powerbuilder等，是微软购并fox公司后开发的一个数据库开发软件。可用于中型数据库软件工程的建构。可以用来做商业开发。

2access严格来说不是一个数据库应用程序的开发工具，基本上是一个办公应用软件；不能用于商业用途的开发。只能在office环境下运行，受office本身的限制。所用语言只是基于VB语言的辅助性编程的VBA。就其规模来说属于小型的数据库应用软件。早年曾有过ACCESS20（英文版）的可以用于商业用途的数据库开发软件。但后来不知道为什么没有继续研发出新的ACCESS版本。

3通常大型的数据库管理信息系统的开发，开发商多用ORICAL,或者POWERBUILDER，比如供电收费系统，使用ORICAL的较多；银行系统通常在UNIX *** 作系统环境下运行，因此，所使用的数据库开发软件是适用于UNIX *** 作系统环境的开发软件，如：COL（具体名称不记得了），或者DELPHI进行开发。

4就安全性而言，VFP比ORICAL等要差一些；ACCESS就更差了。

以上就是关于VFP技术在网页数据采集中开发的方向分析全部的内容，包括:VFP技术在网页数据采集中开发的方向分析、什么是计算机vb和vfp、ACCESS 和VFP由什么区别等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！