Python 爬虫基础: 如何将数据存入Mysql数据库

使用爬虫爬数据，总要涉及到数据持久化，也就是数据存储的问题。

我们可以根据具体情况把数据保存在本地 txt 文件里，excel 里，csv 里等等，当然也可以存储在数据库里。

本篇博客主要记录如何通过 Python 连接 MySQL 数据库，并实现 增删改查 *** 作的。

1. 配置环境

首先需要安装 MySQL 数据库和 pymysql 库。

MyQL 数据库的安装和配置过程略去不讲，自行查阅资料。

pymysql 库是 python 用来 *** 作 MySQL 数据库的一个第三方库，安装命令如下：

pip install pymysql

2. 创建数据库和数据表

在 MySQL 数据库中设置好用户名，密码，端口等，创建好数据库和数据表。

如上示例，是我创建的数据库 TopicDB 和数据表 QuestionsTable 。

3. 连接数据库

将自己的数据库的 IP、端口，用户名、密码 等参数填进去，运行即可完成数据库的连接。

import pymysql

db = pymysql.connect(host='xxx.xxx.xxx.xxx', port=3306, user='smartcrane', passwd='xxxxxx', db='TopicDB', charset='utf8')
cursor = db.cursor()

如果数据库是本地的话，host 可以填 127.0.0.1 或 localhost 。

4. 增删改查

通过 pymysql 库 *** 作数据库，实际上也是通过执行 SQL 语句。也就是说，自行构造 SQL 语句的字符串 sql ，然后通过 cursor.excute(sql) 执行。

具体的 SQL 语法这里略去不讲，请自行搜索学习，此处仅讲解如何通过 Python *** 作数据库。

4.1 查询数据

示例代码如下：

def queryDB():
    # 查询数据库
    try:
        sql = "select * from QuestionsTable"
        cursor.execute(sql)
        data = cursor.fetchone()
        print(data)
    except Exception as e:
        print(e)

查询数据时，在执行完 cursor.execute(sql) *** 作之后，可以通过 fetchone() 或 fetchall() 或 fetchmany(n) 函数来获取查询结果，三个函数的区别如下。

执行 cursor.fetchone() 每次取一条数据。

执行 cursor.fetchall() 一次性取全部数据

执行 cursor.fetchmany(n) 每次取 n 条数据。

4.2 增删改 *** 作

示例代码如下：

def insertDB(id, title, url):
    #插入数据
    try:
        sql = "insert into QuestionsTable values (%s,'%s','%s')"%(id, title, url)
        cursor.execute(sql)
        db.commit()
    except Exception as e:
        db.rollback()
        print(e)

更新数据，删除数据等 *** 作的写法跟插入数据的写法一样，只要修改对应 sql 语句即可。

如果数据库 *** 作报错了。调试的话，首先把sql 字符串打印出来，复制到 MySQL 数据库中执行看是否有误。

大部分的情况下，都是 SQL 语句有误引起的。

5. 关闭数据库连接

程序运行结束后，需要断开数据库连接。

示例代码如下：

# 关闭光标对象
cursor.close()
# 关闭数据库连接
db.close()