爬虫笔记day11

redis下载安装：https://blog.csdn.net/hssf_xxy/article/details/121884591

知识点补充：redis连接

import redis
r=redis.Redis(host='localhost',port=6379,db=数据库)
r.sadd('url:表','需要插入的数据')

原理：
1、redis 基于内存，效率高
2、利用redis中集合的特性，自动去重，可以轻松管理所有请求的指纹

实现思路：
1、利用集合的sadd()方法向集合中添加指纹，根据返回值来判断集合中是否存在改指纹
2、添加成功返回1，表示此请求之前并未抓取过
3、添加失败返回0，表示此请求之前已经抓取过

import  urllib.request
import  re
import time
import random
import  redis
from hashlib import md5
import sys

class CarSpider:
    def __init__(self):
        self.url="https://www.che168.com/beijing/a0_0msdgscncgpi1lto1csp{}exx0/"
        self.headers = {'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E'}        #计数变量
        self.i=0
        #先连接到redis数据库
        self.r=redis.Redis(host='localhost',port=6379,db=0)


    def get_html(self,url):
        """功能函数1：获取响应内容"""
        req=urllib.request.Request(url=url,headers=self.headers)
        res=urllib.request.urlopen(req)
        #ignore:decode()时遇到不能识别的字符，则忽略，查看网页源码看所使用的字符编码
        html=res.read().decode('gb2312','ignore')
        return html

    def re_func(self,regex,html):
        """功能函数2：解析提取数据"""
        pattern=re.compile(regex,re.S)
        r_list=pattern.findall(html)
        return r_list

    def md5_url(self, url):
        # md5加密
        s = md5()
        s.update(url.encode())
        return s.hexdigest()

    def parse_html(self,one_url):
        """数据抓取函数-从一级页面开始"""
        one_html=self.get_html(one_url)
        one_regex='
 
运行结果： 
cmd
 
					
										


					

						
欢迎分享，转载请注明来源：内存溢出
原文地址: http://outofmemory.cn/zaji/5658853.html