python网络爬虫 Scrapy中selenium用法详解

概述python网络爬虫 Scrapy中selenium用法详解 引入 在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值.但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据.那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动态加载的数据值. 1.案例分析: - 需求:爬取网易新闻的国内.国际.军事.无人机板块下的新闻数据

引入

在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值。

1.案例分析：

- 需求：爬取网易新闻的国内、国际、军事、无人机板块下的新闻数据

- 需求分析：当点击国内超链进入国内对应的页面时，会发现当前页面展示的新闻数据是被动态加载出来的，如果直接通过程序对url进行请求，是获取不到动态加载出的新闻数据的。则需要我们使用selenium实例化一个浏览器对象，在该对象中进行url的请求，获取动态加载的新闻数据。

2.selenium在scrapy中使用的原理分析：

当引擎将国内板块url对应的请求提交给下载器后，下载器进行网页数据的下载，然后将下载到的页面数据，封装到response中，提交给引擎，引擎将response再转交给SpIDers。SpIDers接受到的response对象中存储的页面数据里是没有动态加载的新闻数据的。要想获取动态加载的新闻数据，则需要在下载中间件中对下载器提交给引擎的response响应对象进行拦截，切对其内部存储的页面数据进行篡改，修改成携带了动态加载出的新闻数据，然后将被篡改的response对象最终交给SpIDers进行解析 *** 作。

3.selenium在scrapy中的使用流程：

重写爬虫文件的构造方法，在该方法中使用selenium实例化一个浏览器对象（因为浏览器对象只需要被实例化一次）重写爬虫文件的closed(self,spIDer)方法，在其内部关闭浏览器对象。该方法是在爬虫结束时被调用重写下载中间件的process_response方法，让该方法对响应对象进行拦截，并篡改response中存储的页面数据在配置文件中开启下载中间件

4.实例：

# 1.spIDer文件import scrapyfrom wangyiPro.items import WangyiproItemfrom selenium import webdriverclass WangyiSpIDer(scrapy.SpIDer):  name = 'wangyi'  # allowed_domains = ['www.xxx.con']  start_urls = ['https://news.163.com/']  # 浏览器实例化的 *** 作只会被执行一次  bro = webdriver.Chrome(executable_path='chromedriver.exe')  urls = []# 最终存放的就是5个板块对应的url  def parse(self,response):    li_List = response.xpath('//*[@ID="index2016_wrap"]/div[1]/div[2]/div[2]/div[2]/div[2]/div/ul/li')    for index in [3,4,6,7,8]:      li = li_List[index]      new_url = li.xpath('./a/@herf').extract_first()      self.urls.append(new_url)      # 对5大板块对应的url进行请求发送      yIEld scrapy.Request(url=new_url,callback=self.parse_news)  # 用来解析每一个板块对应的新闻数据【只能解析到新闻的标题】  def parse_news(self,response):    div_List = response.xpath('//div[@]/div')    for div in div_List:      Title = div.xpath('./div/div[1]/h3/a/text()').extract_first()      news_detail_url = div.xpath('./div/div[1]/h3/a/@href').extract_first()      # 实例化item对象，将解析到的标题和内容存储到item对象中      item = WangyiproItem()      item['Title'] = Title      # 对详情页的url进行手动请求发送获得新闻内容      yIEld scrapy.Request(url=news_detail_url,callback=self.parse_detail,Meta={'item':item})  def parse_detail(self,response):    item = response.Meta['item']    # 通过response解析出新闻内容    content = response.xpath('//div[@ID="endText"]//text()').extract()    content = ''.join(content)    item['content'] = content    yIEld item  def close(self,spIDer):    # 当爬虫结束之后，调用关闭浏览器方法    print('爬虫整体结束~~~~~~~~~~~~~~~~~~~')    self.bro.quit()----------------------------------------------------------------------------------------# 2.items文件import scrapyclass WangyiproItem(scrapy.Item):  # define the fIElds for your item here like:  # name = scrapy.FIEld()  Title = scrapy.FIEld()  content = scrapy.FIEld()----------------------------------------------------------------------------------------# 3.mIDdlewares文件from scrapy import signalsfrom scrapy.http import HTMLResponsefrom time import sleepclass WangyiprodownloaderMIDdleware(object):  def process_request(self,request,spIDer):    return None  def process_response(self,response,spIDer):    # 判断哪些响应对象是5个板块的，如果在就对响应对象进行处理    if response.url in spIDer.urls:      # 获取在爬虫类中定义好的浏览器      bro = spIDer.bro      bro.get(response.url)      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')      sleep(1)      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')      sleep(1)      # 获取携带了新闻数据的页面源码数据      page_text = bro.page_source      # 实例化一个新的响应对象      new_response = HTMLResponse(url=response.url,body=page_text,enCoding='utf-8',request=request)      return new_response    else:      return response  def process_exception(self,exception,spIDer):    pass----------------------------------------------------------------------------------------# 4.pipelines文件class WangyiproPipeline(object):  def process_item(self,item,spIDer):    print(item)    return item----------------------------------------------------------------------------------------# 5.setting文件BOT_name = 'wangyiPro'SPIDER_MODulES = ['wangyiPro.spIDers']NEWSPIDER_MODulE = 'wangyiPro.spIDers'USER_AGENT = 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/76.0.3809.132 Safari/537.36'ROBOTSTXT_OBEY = FalseDOWNLOADER_MIDDLEWARES = {  'wangyiPro.mIDdlewares.WangyiprodownloaderMIDdleware': 543,}ITEM_PIPElines = {  'wangyiPro.pipelines.WangyiproPipeline': 300,}LOG_LEVEL = 'ERROR'

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

总结

以上是内存溢出为你收集整理的python网络爬虫 Scrapy中selenium用法详解全部内容，希望文章能够帮你解决python网络爬虫 Scrapy中selenium用法详解所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。