如何用python抓取网页数据库

最简单可以用urllib，python2x和python3x的用法不同，以python2x为例：

import urllib

html = urllibopen(url)

text = htmlread()

复杂些可以用requests库，支持各种请求类型，支持cookies，header等

再复杂些的可以用selenium，支持抓取javascript产生的文本

1SQLServer2000常用的数据导入导出方法1

1通过DTS的设计器进行导入或导出DTS的设计器功能强大，支持多任务，也是可视化界面，易于 *** 作，但熟悉的人一般不多，如果只是进行SQLServer数据库中部分表的移动，用这种方法最好，当然，也可以进行全部表的移动

在SQLServerEnterpriseManager中，展开服务器左边的＋，选择数据库，右击，选择Alltasks/ImportData

(或Alltasks/ExportData

)，进入向导模式，然后按照提示一步一步进行就可以了，里面分得非常详细，可以灵活的在不同数据源之间复制数据，非常的方便，而且还可以另存成DTS包，如果以后还有相同的复制任务，直接运行DTS包就行，省时省力

也可以直接打开DTS设计器，方法是展开服务器名称下面的DataServices，选LocalPackages，在右边的窗口中右击，选NewPackage，就打开了DTS设计器

值得注意的是：如果源数据库要拷贝的表有外键，注意移动的顺序，有时要分批移动，否则外键主键，索引可能丢失，移动的时候选项旁边的提示说的很明白，或者一次性的复制到目标数据库中，再重新建立外键，主键，索引

其实在建立数据库时，建立外键，主键，索引的文件应该和建表文件分开，而且用的数据文件也分开，并分别放在不同的驱动器上，有利于数据库的优化

1

2利用Bcp工具这种工具虽然在SQLServer2000的版本中不推荐使用，但许多数据库管理员仍很喜欢用它，尤其是用过SQLServer早期版本的人

不过Bcp确实有其局限性，首先它的界面不是图形化的；其次它只是在SQLServer的表（视图）与文本文件之间进行复制

但是另一方面，它也有其优点：性能好，开销小，占用内存少，速度快

1

3利用备份和恢复先对源数据库进行完全备份，备份到一个设备（device）上，然后把备份文件复制到目的服务器上（恢复的速度快），进行数据库的恢复 *** 作，在恢复的数据库名中填上源数据库的名字（名字必须相同），选择强制型恢复（可以覆盖以前数据库的选项），在选择从设备中进行恢复，浏览时选中备份的文件就行了

这种方法可以完全恢复数据库，包括外键，主键，索引

1

4直接拷贝数据文件把数据库的数据文件（

mdf）和日志文件（

ldf）都拷贝到目的服务器，在SQLServerQueryAnalyzer中用语句进行恢复：EXECsp_attach_db@dbname=’test’,@filename1=’d:mssql7data est_data

mdf’,@filename2=’d:mssql7data est_log

ldf’这样就把test数据库附加到SQLServer中，可以照常使用，如果不想用原来的日志文件，可以用如下的命令：EXECsp_detach_db@dbname=’test’EXECsp_attach_single_file_db@dbname=’test’,@physname=’d:mssql7data est_data

mdf’这个语句的作用是仅仅加载数据文件，日志文件可以由SQLServer数据库自动添加，但是原来的日志文件中记录的数据就丢失了

1

5在应用程序中定制可以在应用程序（PB、VB）中执行自己编写的程序，也可以在QueryAnalyzer中执行，这种方法比较灵活，其实是利用一个平台连接到数据库，在平台中用的主要是SQL语句，这种方法对数据库的影响小，但是如果用到远程链接服务器，要求网络之间的传输性能好，一般有两种语句：1

5

1select

intonew_tablenamewhere

1

5

2insert(into)old_tablenameselect

from

where

这两种方式的区别是前者把数据插入一个新表（先建立表，再插入数据），而后者是把数据插入已经存在的一个表中，一般来说，第二条语句强于前者

1

6SQLServer的复制功能SQLServer提供了强大的数据复制功能，也是最不易掌握的，具体应用请参考相关资料，值得注意的是要想成功进行数据的复制工作，有些条件是必不可少的：1

6

1SQLServerAgent必须启动，MSDTC必须启动

1

6

2所有要复制的表必须有主键

1

6

3如果表中有text或image数据类型，必须使用withlog选项，不能使用withno_log选项

另外maxtextreplsize选项控制可以复制的文本和图像数据的最大规模，超过这个限制的 *** 作将失败

1

6

4在要进行复制的计算机上，应该至少是隐含共享，即共享名是C$或D$

1

6

5为SQLServer代理使用的WindowsNT账号不能是一个本地的系统账号，因为本地的系统账号不允许网络存取

1

6

6如果参与复制的服务器在另外的计算机域中，必须在这些域之间建立信任关系

2实现基于网页的数据库数据导入那么，如何实现基于网页的数据库数据导入呢，下面利用一个比较简单的网络介绍一下

假设某局域网的网络拓扑结构如下所示：其中服务器A和工作站B位于局域网内，工作站C与服务器D位于Internet内，局域网与Internet是物理隔离的，工作站C与工作站D在同一个办公室内，服务器A上的数据库管理系统是Oracle，服务器D上的数据库管理系统是SQLServer2000

由于工作需要，要求把服务器A的有关数据导入到服务器D上

2

1通常的工作流程：2

1

1在工作站B上运行客户端软件，将服务器A上数据导入到本地的dbf文件

2

1

2用移动硬盘把dbf文件从工作站B拷贝到工作站C上

2

1

3在工作站C上，用ftp软件将dbf文件上传到服务器D上

2

1

4在工作站C上，运行远程桌面软件登录到服务器D上

2

1

5在服务器D上，执行DTS，将dbf文件中的数据导入到SQLServer数据库

2

1

6在服务器D上,运行相关存储过程,做数据的后期处理工作

在许多情况下，因为各种不同情况的需要，这个工作流程每天（甚至更短的时间内）就要执行一次，非常繁琐，而且使用手工 *** 作，很容易出错

下面提出一种改进的方案

2

2改进后的工作流程2

2

1在工作站B上运行客户端软件，将服务器A上数据导入到本地的dbf文件

2

2

2用移动硬盘把dbf文件从工作站B拷贝到工作站C上

2

2

3在工作站C上，打开服务器D上的相关网页，利用网页将dbf文件的数据导入到服务器D上的SQLServer数据库中

首先，要在网页里实现上传功能，把dbf文件从工作站C上传到服务D上，这里就不多介绍了

要通过网页把dbf文件导入到SQLServer中，需要借助DTS可编程对象

DTS包含一组可编程COM对象，主要包含：DTS

Package、DTS

Connection、DTS

Step、DTS

、DTS

、DTS

在ASP网页里，通过用VBScript脚本创建调用DTS可编程COM对象,可以完成数据导入任务

SQLServer2000有比较详细的文档资料介绍DTS编程，但没有给一个具体的例子，如果仅参考文档资料，难度比较大，开发时间也会相当长

这里大概的介绍一下开发程序的过程

首先，在SQLSever2000的DTS设计器里，创建DTS包，实现从dbf文件到SQLServer2000的数据导入，把后期处理的存储过程也添加到DTS包里

将这个DTS包另存为VBScript文件

有了这个VBScript文件，开发程序就容易多了，加入所需要的其他代码，就可以在网页里实现数据库的数据导入

参考文献1张莉，等

SQLServer数据库原理及应用教程〔M〕

北京：清华大学出版社，2003

2梁方明

SQLServer2000数据库编程〔M〕

北京：北京希望电子出版社，2002

3LouisDavidson（美）

SQLServer2000数据库设计权威指南〔M〕

中国电力出版社，2002

[

HTML是无法读取数据库的，HTML是页面前端脚本语言，要想从HTML网页中获取SQL数据库里的数据，需要借助JSP或ASP或PHP或RUBY等语言来实现。

SQL数据库的数据体系结构基本上是三级结构，但使用术语与传统关系模型术语不同。在SQL中，关系模式(模式)称为“基本表”(base table)；存储模式(内模式)称为“存储文件”(stored file)；子模式(外模式)称为“视图”(view)；元组称为“行”(row)；属性称为“列”(column)。

扩展资料

SQL语言的组成：

1、一个SQL数据库是表(Table)的集合，它由一个或多个SQL模式定义。

2、一个SQL表由行集构成，一行是列的序列(集合)，每列与行对应一个数据项。

3、一个表或者是一个基本表或者是一个视图。基本表是实际存储在数据库的表，而视图是由若干基本表或其他视图构成的表的定义。

4一个基本表可以跨一个或多个存储文件，一个存储文件也可存放一个或多个基本表。每个存储文件与外部存储上一个物理文件对应。

5用户可以用SQL语句对视图和基本表进行查询等 *** 作。在用户角度来看，视图和基本表是一样的，没有区别，都是关系(表格)。

6SQL用户可以是应用程序，也可以是终端用户。SQL语句可嵌入在宿主语言的程序中使用，宿主语言有FORTRAN，COBOL和Ada语言等。

参考资料:百度百科▬SQL数据库

肯定是需要维护的，而且要根据网站的运营情况和公司的实际需求进行维护和优化。网站数据库的维护工作的内容如下:

确定网站程序、数据库类型

日常备份

*** 作维护备份

*** 作修改过程

一、网站基础维护

1、内容更新2、修改3、简单Flash修改4、简单Js效果

二、网站安全维护

1、病毒的防治

三、网站数据库维护

1、数据库备份2、数据库导入导出3、数据库的迁移4、数据库数据的恢复和还原5、数据库后台维护

四、故障恢复

1、数据库数据丢失找回

2、网站程序恢复

五、基础优化

1、进行w3c标准优化

一、确定网站程序类型和数据库类型，并取得一下信息

1、取得FTP账号信息，2、如果是大型数据库（例如sqlserver和mysql等），要取得数据库账号信息3、

域名管理信息

二、原始备份在取得网站信息后要对网站进行原始备份，包括数据库数据和网站程序，以下为备份过程：

i以汉语拼音或者英文的第一个字母为文件夹名称，对网站进行分类，便于查找

ii每个文件夹内再建立2-3个文件夹，分别存放，网站原始备份，修改备份，数据库文件以及备份（如果是aess数据库可以和程序放在同一个文件夹内，备份文件以文件名加日期命名）

三、网站修改

1、每次修改从ftp下载最新的文件进行修改，上传之前,需要在ftp备份原文件，以文件名加日期来命名，例如（indexasp命名为indexasp1022）,并及时更新原始备份

2、如果是从网站后台直接拷贝的代码模板进行修改，需要将原模板代码备份到本地文件夹，再将修改好的代码上传。

四、定期备份

1、程序文件每月一号进行一次备份，可采用覆盖原始备份的方式进行备份，如果有重要更新，随时进行一次单独备份，同时保留旧备份，数量为2

2、数据库文件

1）aess数据库可以通过手动的方式每周五备份一次，如果客户要求可以备份。备份保留数量为5份

2)大型数据库，例如sqlserver和mysql，每周五通过服务器控制面板备份，客户要求可以备份。并在本地电脑上通过数据导入导出每15天备份一次，不需要保留旧数据。

3）如果是独享主机可以通过软件在服务器是自动差异备份，设定时间为每周五备份。并在本地电脑上通过数据导入导出每15天备份一次，不需要保留旧数据。

4）若进行数据库结构修改 *** 作，需要对数据库进行完全备份。

网络数据库的重要性

数据库作为应用系统基础的组成部分，其重要性不言而喻。数据库一旦崩溃，将会给企业带来巨大的压力，面临的业务需求与挑战。随着IT技术的发展，企业的应用系统越来越复杂，数据库作为应用系统基础的组成部分，其重要性不言而喻。对于企业而言，一旦数据库崩溃或者数据库的性能降低，那么会直接导致依赖于数据库的应用系统运行速度缓慢或者根本无法使用，其最终结果不仅仅是会影响应用系统的使用效率，甚至会造成企业客户和利润的流失。更有甚者，对于某些企业来说，其日常的运营完全依赖于业务系统，那么一旦业务系统所使用的数据库崩溃，那么会对企业造成根本性的伤害，或者会影响到企业的正常运营。我们为客户带来什么提高管理员的工作效率，改善企业的数据库使用环境

数据库在使用中所出现的问题，可能由表空间、文件系统、数据文件、进程等组件当中的任意一个造成，甚至有可能是由于某一个SQL语句的性能太差造成。因此，当数据库出现问题，彻查问题的根本原因成为重复、繁杂的劳动，MochaBSM将管理员从重复劳动中脱离出来，以主动管理的方式，为管理员提供自动化的监控管理，一旦数据库出现问题，可以马上通知相关的管理员。提前识别可能伤害数据库性能的事件，并采取预防性措施，减少应用停用为企业带来的伤害系统提供了70多个重要的性能指标，一旦性能出现问题，立刻产生相应的事件和报警，并可通过短信、语音等形式主动将事件和报警推送给管理员，让管理员能够实时了解当前的系统运行数据与运行状况，及时解决数据库所存在的问题，防止问题进一步的严重。

监控颗粒度细化，为管理员提供更详尽的信息，便于管理员有依据的优化数据库性能除了监控数据库、表空间、数据文件等组件，系统还可以深入到SQL语句的监控，提供SQL语句排名，可检测性能欠佳的SQL语句，让管理员能够有依据、有针对性的优化数据库的性能，简化管理员的维护工作。

数据库可视化监控，一目了然，降低技术门槛

除了提供详尽、实时的数据，系统还可提供给使用者可视化的监控方式，使用者不必具有专业的数据库知识，也可以了解到数据库的当前状况。

保障业务不间断和连续性，降低运行风险

通过对数据库可用性和性能的监控，保证数据库的健康运行，确保依赖于数据库的业务系统的正常运

行，减少系统的停用时间。

关键功能与亮点

支持主流的数据库，包括

·MSSQLServer2000、2005

·OracleDB9i、10g

·MySQL

·DB2

自动发现被监控的数据库，并且可自动发现数据库上的数据库表和表空间，然后进行监控。

对以下关键组件进行针对性的监控

·数据库

从CPU、内存、连接、锁、事务等方面来监控数据库的性能。

·表空间

数据文件

进程

*** 作系统的文件系统

除了数据展现，更提供可视化的监控方式，可以对文件系统运行情况进行查看和检索。

提供数据库配置的监控，当数据库的配置发生变更，例如数据库内存配置方面的变更等，以不同的颜

色标记配置变更记录，并且系统可第一时间通知管理员所发生的变更。

监控粒度更加细化，提供对于SQL语句的排序，可查看性能较差的SQL语句，为管理员优化数据库提供依据，能够预防更严重问题的发生。

关于数据库的运行数据，系统提供了丰富的报表、报告，并可导出各种文件形式，应用于其他文档。

应用可视化管理，可直观的展现给用户数据库监控的各种数据，让用户对于应用运行的情况有更清晰、直接的感受。

整合ITM、Smarts等第三方软件，便于用户通过一个Portal，了解到全局的信息。

提供宕机的根本原因分析，帮助管理员更快解决问题，使最终用户得到更高品质的应用服务。

一旦系统发生故障，系统生成事件，通过短信，邮件和语音等方式通知关键管理人员。

保护敏感信息和数据资产大多数企业、组织以及政府部门的电子数据都保存在各种数据库中。他们用这些数据库保存一些个人资料,比如员工薪水、医疗记录、员工个人资料等等。数据库服务器还掌握着敏感的金融数据,包括交易记录、商业事务和帐号数据、战略上的或者专业的信息,比如专利和工程数据,甚至市场计划等等应该保护起来防止竞争者和其他非法者获取的资料。数据库服务器还保存着一些有关员工详细资料的东西比如银行帐号、xyk号码,以及一些商业伙伴的资料。

楼上的这种问题我也遇到过，往往是设计网站界面视图的人没有考虑到所有的需求，提供的数据库查询不够灵活。

确实有可能找到办法去访问这个数据库，不过应该提醒楼主，网站做界面的目的出了美观方便外，就是要限制用户不访问，所以通过非正常途径访问就要承担一定的责任了。

具体方法有：

1理想方法：得到数据库的地址，例如楼上说的把mdb文件直接下载下来。当然很少有网站用access做数据库的，一般情况是需要知道数据库IP地址，数据库类型，库名，用户名和密码，然后通过toad等客户端软件来访问。

既然是理想方法，这种情况不太可能发生，除非你是内部人士，可以知道很多信息。因为通常数据库服务器会放在局域网上，不能被外部访问到。

2实际方法：采用SQL注入等黑客技术。SQL注入是最简单的黑客技术了，不过由于简单威力也不会很大，要求网站设计对于安全的考虑不周，存在漏洞才行。

由于网站设计不周，就会在出错或者某些情况下暴露出数据库表结构的一些内幕，这样就可以写出你想要的SQL命令，把它插入到Web表单递交，或者页面请求的查询字符串中，最终达到欺骗服务器执行的目的。

如果楼主想了解更多，可以学学黑客知识，祝楼主好运！

文献数据库的类型如下：

1、书目数据库：是二次文献数据库，收录了大量一次文献、三次文献的书目信息，记录中包括篇名、著者、文献出处、摘要、关键词等文献的特征信息。

书目数据库是经过加工提炼的数据库，仅提供文献的获取线索，一般具有收录文献范围较大、标识规范、检索功能强大等特点，如常用的中国生物医学文献数据库、MEDLINE、PubMed、EMBASE等。

2、事实数据库（指南数据库）：事实数据库又称指南数据库，收录有关人物、机构、事物、过程、现象等方面事实性的描述信息。

人物传记数据库、机构名录数据库、药典数据库、行业标准数据库等都属于事实数据库。此外电子版的词典、年鉴、指南、百科全书等也属于该类数据库。医学和药学方面的事实数据库有Physician Data Query、Drug Information Fulltext等。

3、数值数据库：该类数据库主要收录各类统计、测量以及科学实（试）验中产生的数据，如人口统计、发病率、死亡率、动物的生理参数、药物的理化参数等。

这类数据库包括WHOSIS（世界卫生组织统计信息系统），PubMed网站中提供的Protein、Gemome等。

常用数据库

1 IBM 的DB2

作为关系数据库领域的开拓者和领航人，IBM在1997年完成了System R系统的原型，1980年开始提供集成的数据库服务器—— System/38，随后是SQL/DSforVSE和VM，其初始版本与SystemR研究原型密切相关。DB2 forMVSV1 在1983年推出。该版本的目标是提供这一新方案所承诺的简单性，数据不相关性和用户生产率。1988年DB2 for MVS 提供了强大的在线事务处理（OLTP）支持，1989 年和1993 年分别以远程工作单元和分布式工作单元实现了分布式数据库支持。最近推出的DB2 Universal Database 61则是通用数据库的典范，是第一个具备网上功能的多媒体关系数据库管理系统，支持包括Linux在内的一系列平台。

2 Oracle

Oracle 前身叫SDL，由Larry Ellison 和另两个编程人员在1977创办，他们开发了自己的拳头产品，在市场上大量销售，1979 年，Oracle公司引入了第一个商用SQL 关系数据库管理系统。Oracle公司是最早开发关系数据库的厂商之一，其产品支持最广泛的 *** 作系统平台。目前Oracle关系数据库产品的市场占有率名列前茅。

3 Informix

Informix在1980年成立，目的是为Unix等开放 *** 作系统提供专业的关系型数据库产品。公司的名称Informix便是取自Information 和Unix的结合。Informix第一个真正支持SQL语言的关系数据库产品是Informix SE（StandardEngine）。InformixSE是在当时的微机Unix环境下主要的数据库产品。它也是第一个被移植到Linux上的商业数据库产品。

4 Sybase

Sybase公司成立于1984年，公司名称“Sybase”取自“system”和 “database” 相结合的含义。Sybase公司的创始人之一Bob Epstein 是Ingres 大学版（与System/R同时期的关系数据库模型产品）的主要设计人员。公司的第一个关系数据库产品是1987年5月推出的Sybase SQLServer10。Sybase首先提出Client/Server 数据库体系结构的思想，并率先在Sybase SQLServer 中实现。

5 SQL Server

1987 年，微软和 IBM合作开发完成OS/2，IBM 在其销售的OS/2 ExtendedEdition 系统中绑定了OS/2Database Manager，而微软产品线中尚缺少数据库产品。为此，微软将目光投向Sybase，同Sybase 签订了合作协议，使用Sybase的技术开发基于OS/2平台的关系型数据库。1989年，微软发布了SQL Server 10 版。

6 PostgreSQL

PostgreSQL 是一种特性非常齐全的自由软件的对象——关系性数据库管理系统（ORDBMS），它的很多特性是当今许多商业数据库的前身。PostgreSQL最早开始于BSD的Ingres项目。PostgreSQL 的特性覆盖了SQL-2/SQL-92和SQL-3。首先，它包括了可以说是目前世界上最丰富的数据类型的支持；其次，目前PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统

7mySQL

mySQL是一个小型关系型数据库管理系统，开发者为瑞典MySQL AB公司。在2008年1月16号被Sun公司收购。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。MySQL的官方网站的网址是： >

以上就是关于如何用python抓取网页数据库全部的内容，包括:如何用python抓取网页数据库、在网页引用数据库的详细方法(如何引用数据库数据)、怎样从HTML网页中获取SQL数据库里的数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！