python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)

MySQL

是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件。

MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。

：《Python基础教程》

应用环境

与其他的大型数据库例如Oracle、DB2、SQLServer等相比，MySQL自有它的不足之处，但是这丝毫也没有减少它受欢迎的程度。对于一般的个人使用者和中小型企业来说，MySQL提供的功能已经绰绰有余，而且由于MySQL是开放源码软件，因此可以大大降低总体拥有成本。

MongoDB

是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

特点

它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：

面向集合存储，易存储对象类型的数据。

mongodb集群参考

模式自由。

支持动态查询。

支持完全索引，包含内部对象。

支持查询。

支持复制和故障恢复。

使用高效的二进制数据存储，包括大型对象（如视频等）。

自动处理碎片，以支持云计算层次的扩展性。

支持RUBY，PYTHON，JAVA，C，PHP，C#等多种语言。

文件存储格式为BSON（一种JSON的扩展）。

可通过网络访问。

环境软件需求：

1、Python版本：Python 360，anaconda430（64bt）

2、编码格式：-- coding: utf-8 --

valuestartswitch('~') 这个是判断这个字符串是否以“~”开头，如果是就返回True

cursexecute（‘’‘）三个引号 ''' ''' 之间表示是一个字符串，可以换行，单引号和双引号之间只能写成一行。

fields=linesplit（‘^’）意思是将字符串变成列表，按照"^"分开。

两种方法

1、python读取文件后，解析value中的id，存储到list中，再读另一个文件时，去list里判断是否已存在

2、python读取另一个文件后，解析values中的id，脚本直接去数据库判断是否存在

其实数据库可以设计id未主键，这样你直接insert即可，出错的话，数据库会容错

需要使用xlrd和MySQLdb库，可自行百度下载。

#coding:utf-8

import xlrd

import MySQLdb

data=xlrdopen_workbook(r'F:\test\baseParamxls') #读取表格db="测试" #需要 *** 作的数据库

conn= MySQLdbconnect(

host='localhost',

port = 3306,

user='root',

passwd='123456',

charset='utf8'

) #连接mysql

cur=conncursor()

curexecute("drop database if exists "+db)curexecute("create database "+db)

connselect_db(db) #初始化数据库

sheet_names=datasheet_names()

for sheet_name in sheet_names:

sheet=datasheet_by_name(sheet_name)

row_data=sheetrow_values(0)

row_data=' varchar(256) DEFAULT NULL, 'join(row_data)row_data=row_data+' varchar(256) DEFAULT NULL'

curexecute('create table '+sheet_name+'('+row_data+')') #数据库中创建表格ss=''

for index in range(sheetncols):

ss=ss+'%s, '

ss=ssrstrip(', ')

sql="insert "+ sheet_name+ " values(" +ss +")"param=[]

for index in range(1,sheetnrows):

row_values=sheetrow_values(index)

paramappend(row_values)

curexecutemany(sql,param) #插入数据

conncommit()

curclose()

connclose() #释放数据连接

以上就是关于python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)全部的内容，包括:python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)、Python上传excel文件到Oracle数据库（csv,xlsx,xls）、python 简单的数据导入数据库程序解析问题等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！