Python爬虫框架Scrapy实例代码

概述目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。

目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。

一、创建Scrapy项目

scrapy startproject Tencent

命令执行后，会创建一个Tencent文件夹，结构如下

二、编写item文件，根据需要爬取的内容定义爬取字段

# -*- Coding: utf-8 -*-import scrapyclass TencentItem(scrapy.Item):  # 职位名  positionname = scrapy.FIEld()  # 详情连接  positionlink = scrapy.FIEld()  # 职位类别  positionType = scrapy.FIEld()  # 招聘人数  peopleNum = scrapy.FIEld()  # 工作地点  workLocation = scrapy.FIEld()  # 发布时间  publishTime = scrapy.FIEld()

三、编写spIDer文件

进入Tencent目录，使用命令创建一个基础爬虫类：

# tencentPostion为爬虫名，tencent.com为爬虫作用范围scrapy genspIDer tencentPostion "tencent.com"

执行命令后会在spIDers文件夹中创建一个tencentPostion.py的文件，现在开始对其编写：

# -*- Coding: utf-8 -*-import scrapyfrom tencent.items import TencentItemclass TencentpositionSpIDer(scrapy.SpIDer):  """  功能：爬取腾讯社招信息  """  # 爬虫名  name = "tencentposition"  # 爬虫作用范围  allowed_domains = ["tencent.com"]  url = "http://hr.tencent.com/position.PHP?&start="  offset = 0  # 起始url  start_urls = [url + str(offset)]  def parse(self,response):    for each in response.xpath("//tr[@class='even'] | //tr[@class='odd']"):      # 初始化模型对象      item = TencentItem()      # 职位名称      item['positionname'] = each.xpath("./td[1]/a/text()").extract()[0]      # 详情连接      item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]      # 职位类别      item['positionType'] = each.xpath("./td[2]/text()").extract()[0]      # 招聘人数      item['peopleNum'] = each.xpath("./td[3]/text()").extract()[0]      # 工作地点      item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]      # 发布时间      item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]      yIEld item    if self.offset < 1680:      self.offset += 10    # 每次处理完一页的数据之后，重新发送下一页页面请求    # self.offset自增10，同时拼接为新的url，并调用回调函数self.parse处理Response    yIEld scrapy.Request(self.url + str(self.offset),callback = self.parse)

四、编写pipelines文件

# -*- Coding: utf-8 -*-import Jsonclass TencentPipeline(object):　　"""     功能：保存item数据   """  def __init__(self):    self.filename = open("tencent.Json","w")  def process_item(self,item,spIDer):    text = Json.dumps(dict(item),ensure_ascii = False) + ",\n"    self.filename.write(text.encode("utf-8"))    return item  def close_spIDer(self,spIDer):    self.filename.close()

五、settings文件设置（主要设置内容）

# 设置请求头部，添加urlDEFAulT_REQUEST_headerS = {  "User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; windows NT 6.1; TrIDent/5.0;",'Accept': 'text/HTML,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'}# 设置item――pipelinesITEM_PIPElines = {  'tencent.pipelines.TencentPipeline': 300,}

执行命令，运行程序

# tencentposition为爬虫名scrapy crwal tencentposition

使用CrawlSpIDer类改写

# 创建项目scrapy startproject TencentSpIDer# 进入项目目录下，创建爬虫文件scrapy genspIDer -t crawl tencent tencent.comitem等文件写法不变，主要是爬虫文件的编写# -*- Coding:utf-8 -*-import scrapy# 导入CrawlSpIDer类和Rulefrom scrapy.spIDers import CrawlSpIDer,Rule# 导入链接规则匹配类，用来提取符合规则的连接from scrapy.linkextractors import linkExtractorfrom TencentSpIDer.items import TencentItemclass TencentSpIDer(CrawlSpIDer):  name = "tencent"  allow_domains = ["hr.tencent.com"]  start_urls = ["http://hr.tencent.com/position.PHP?&start=0#a"]  # Response里链接的提取规则，返回的符合匹配规则的链接匹配对象的列表  pagelink = linkExtractor(allow=("start=\d+"))  rules = [    # 获取这个列表里的链接，依次发送请求，并且继续跟进，调用指定回调函数处理    Rule(pagelink,callback = "parseTencent",follow = True)  ]  # 指定的回调函数  def parseTencent(self,response):    for each in response.xpath("//tr[@class='even'] | //tr[@class='odd']"):      item = TencentItem()      # 职位名称      item['positionname'] = each.xpath("./td[1]/a/text()").extract()[0]      # 详情连接      item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]      # 职位类别      item['positionType'] = each.xpath("./td[2]/text()").extract()[0]      # 招聘人数      item['peopleNum'] = each.xpath("./td[3]/text()").extract()[0]      # 工作地点      item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]      # 发布时间      item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]      yIEld item

总结

以上所述是小编给大家介绍的Python爬虫框架Scrapy实例代码，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！

您可能感兴趣的文章:讲解Python的Scrapy爬虫框架使用代理进行采集的方法Python的Scrapy爬虫框架简单学习笔记深入剖析Python的爬虫框架Scrapy的结构与运作流程实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250Python爬虫框架Scrapy实战之批量抓取招聘信息零基础写python爬虫之使用Scrapy框架编写爬虫零基础写python爬虫之爬虫框架Scrapy安装配置@L_404_7@Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码 总结

以上是内存溢出为你收集整理的Python爬虫框架Scrapy实例代码全部内容，希望文章能够帮你解决Python爬虫框架Scrapy实例代码所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。