python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)

MySQL

是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件。

MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。

：《Python基础教程》

应用环境

与其他的大型数据库例如Oracle、DB2、SQLServer等相比，MySQL自有它的不足之处，但是这丝毫也没有减少它受欢迎的程度。对于一般的个人使用者和中小型企业来说，MySQL提供的功能已经绰绰有余，而且由于MySQL是开放源码软件，因此可以大大降低总体拥有成本。

MongoDB

是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

特点

它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：

面向集合存储，易存储对象类型的数据。

mongodb集群参考

模式自由。

支持动态查询。

支持完全索引，包含内部对象。

支持查询。

支持复制和故障恢复。

使用高效的二进制数据存储，包括大型对象（如视频等）。

自动处理碎片，以支持云计算层次的扩展性。

支持RUBY，PYTHON，JAVA，C，PHP，C#等多种语言。

文件存储格式为BSON（一种JSON的扩展）。

可通过网络访问。

在 Python 语言环境下我们这样连接数据库。

In [1]: from mysql import connector

In [2]: cnx = connectorconnect(host="17216192100",port=3306,user="appuser",password="xxxxxx")

但是连接数据库的背后发生了什么呢？

答案

当我们通过驱动程序（mysql-connector-python,pymysql）连接 MySQL 服务端的时候，就是把连接参数传递给驱动程序，驱动程序再根据参数会发起到 MySQL 服务端的 TCP 连接。当 TCP 连接建立之后驱动程序与服务端之间会按特定的格式和次序交换数据包，数据包的格式和发送次序由 MySQL 协议 规定。MySQL 协议：>

MySQL 服务端向客户端发送一个握手包，包里记录了 MySQL-Server 的版本，默认的授权插件，密码盐值（auth-data）。

2 MySQL 客户端发出 ssl 连接请求包（如果有必要的话）。

3 MySQL 客户端发出握手包的响应包，这个包时记录了用户名，密码加密后的串，客户端属性，等等其它信息。

4 MySQL 服务端发出响应包，这个包里记录了登录是否成功，如果没有成功也会给出错误信息。

from sqlalchemy import text

sql = text('select name from penguins')

result = dbengineexecute(sql)

思路就是 用flask 执行原生sql语句 

写好查询A数据库到B数据库的语句 直接执行即可，效率最高

python有orm的，可以直接使用。

另外，你表达得有点怪异。

实际上就是用python数据库 *** 作的方法。

方法很多，另外还需要看你使用的什么数据库

mssql 用 odbc模块

mysql、mongo、postgreSql、sqlit 等都有对应的python的数据库 *** 作模块的。

具体步骤：

序号 描述

1 去github上下载pymysql的安装包pymysql

2 解压到某个盘符下

3 打开cmd窗口（win环境下），进入pymysql的根目录下执行命令，python setuppy install

4 在程序里，导入pymysql

5 开始连接数据库

数据库 *** 作的API文档连接:

安装MySQL驱动

由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需要支持Python的MySQL驱动来连接到MySQL服务器。

MySQL官方提供了mysql-connector-python驱动，但是安装的时候需要给pip命令加上参数--allow-external：

pip install mysql-connector-python --allow-external mysql-connector-python

如果上面的命令安装失败，可以试试另一个驱动：

pip install mysql-connector

除了使用mysqlconnector还可以使用pymysql

以上就是关于python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)全部的内容，包括:python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)、python怎么连接mysql数据库、python flask框架怎么把A数据库中查询出的部分数据导入B数据库（mysql数据库）等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！