爬虫笔记day10

定义：每次爬取只抓取新更新的链接，之前抓取过的链接不会再继续抓取

实现思路 MySQL：
1、MySQL中新建指纹表，用来存储所有爬取过的链接的指纹
2、在爬取任何链接之前，先判断该指纹是否存在于指纹表，如果已存在则不在进行爬取

注意：
对于常规网站来说，新更新的数据一般会在最前面。比如说新闻类网站（新更新的新闻会在页面顶部）、电商类网站、房产类网站等
所以、一旦检测到有链接已经爬取过的，则无需继续再检测之后的链接，终止程序即可

1、给url地址进行md5加密生成指纹
from hashlib import md5
s=md5()
s.update(url.encode())
finger=s.hexdigest()

2、pymysql模块执行查询语句后的结果
import  pymysql
cursor.execute('select * from carab')
#fetchall()得到的结果为元祖
result=cursor.fetchall()

1、创建数据库表（只爬取车的名字）

CREATE DATAbase cardb CHARSET utf8;
USE cardb;
CREATE TABLE request_finger(
finger CHAR(32)
)CHARSET=utf8;

CREATE TABLE carab(
NAME VARCHAR(100)
)CHARSET=utf8;

2、爬取程序(自行填入自己的数据库密码)

import  urllib.request
import  re
import time
import random
import pymysql
from hashlib import md5
import sys

class CarSpider:
    def __init__(self):
        self.url="https://www.che168.com/beijing/a0_0msdgscncgpi1lto1csp{}exx0/"
        self.headers = {'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E'}        #计数变量
        self.i=0
        #数据库连接相关变量
        self.db = pymysql.connect(host='localhost', user='root', password='xxx', database='cardb', charset='utf8')
        self.cursor=self.db.cursor()

    def get_html(self,url):
        """功能函数1：获取响应内容"""
        req=urllib.request.Request(url=url,headers=self.headers)
        res=urllib.request.urlopen(req)
        #ignore:decode()时遇到不能识别的字符，则忽略，查看网页源码看所使用的字符编码
        html=res.read().decode('gb2312','ignore')
        return html

    def re_func(self,regex,html):
        """功能函数2：解析提取数据"""
        pattern=re.compile(regex,re.S)
        r_list=pattern.findall(html)
        return r_list

    def md5_url(self,url):
        #md5加密
        s=md5()
        s.update(url.encode())
        return s.hexdigest()

    def parse_html(self,one_url):
        """数据抓取函数-从一级页面开始"""
        one_html=self.get_html(one_url)
        one_regex='
 
部分运行结果： 
					
										


					

						
欢迎分享，转载请注明来源：内存溢出
原文地址: http://outofmemory.cn/zaji/5658845.html