python爬虫爬下来的数据怎么导入到MySQL

下载mysql.connector库

然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的

import mysql.connector

conn = mysql.connector.connect(

    user='root',

    password='root',

    host='127.0.0.1',

    port='3306',

    database='test_demo'

)

cursor = conn.cursor()

cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])

cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])

print('************** %s  %s 数据保存成功 **************'%(user_rank,user_name))

conn.commit()

cursor.close()

插进入就这样的

meta属性是字典，字典格式即{‘key’:'value'}，字典是另一种可变容器模型，且可存储任意类型对象。

request中meta参数的作用是传递信息给下一个函数，这些信息可以是任意类型的，比如值、字符串、列表、字典......方法是把要传递的信息赋值给meta字典的键，分析见如下语句（爬虫文件）：

class example(scrapy.Spider):

name='example'

allowed_domains=['example.com']

start_urls=['http://www.example.com']

def parse(self,response):

#从start_urls中分析出的一个网址赋值给url

url=respense.xpath('.......').extract()

#ExamleClass是在items.py中定义的,下面会写出。item本身

作者：知乎用户

链接：https://www.zhihu.com/question/54773510/answer/146971644

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

可以用redis做判断去重：

启动redis时，将已存在数据加载到redis

通过redis判断数据是否重复

重复就更新 *** 作，否则 插入

---