使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤

概述复制代码代码如下:#!/usr/bin/envpython#-*-coding:utf-8-*-fromscrapy.contrib.spidersimportCrawlSpider,Rulefromscrapy.contrib.linkextractors.sgmlimportSgmlLinkExtractorfromscrapy.selectorimportSelector

复制代码 代码如下:
#!/usr/bin/env python
# -*- Coding: utf-8 -*-
from scrapy.contrib.spIDers import CrawlSpIDer,Rule
from scrapy.contrib.linkextractors.sgml import SgmllinkExtractor
from scrapy.selector import Selector

from cnbeta.items import CnbetaItem
class CBSpIDer(CrawlSpIDer):
    name = 'cnbeta'
    allowed_domains = ['cnbeta.com']
    start_urls = ['http://www.jb51.net']

    rules = (
        Rule(SgmllinkExtractor(allow=('/articles/.*\.htm',)),
             callback='parse_page',follow=True),
    )

    def parse_page(self,response):
        item = CnbetaItem()
        sel = Selector(response)
        item['Title'] = sel.xpath('//Title/text()').extract()
        item['url'] = response.url
        return item


实现蜘蛛爬虫步骤

1.实例初级目标：从一个网站的列表页抓取文章列表，然后存入数据库中，数据库包括文章标题、链接、时间

首先生成一个项目:scrapy startproject fJsen
先定义下items,打开items.py:

我们开始建模的项目，我们想抓取的标题，地址和时间的网站，我们定义域为这三个属性。这样做，我们编辑items.py，发现在开放目录目录。我们的项目看起来像这样：

复制代码 代码如下:
from scrapy.item import Item,FIEld
class FJsenItem(Item):
    # define the fIElds for your item here like:
    # name = FIEld()
    Title=FIEld()
    link=FIEld()
    addtime=FIEld()

第二步：定义一个spIDer,就是爬行蜘蛛（注意在工程的spIDers文件夹下），他们确定一个初步清单的网址下载，如何跟随链接，以及如何分析这些内容的页面中提取项目（我们要抓取的网站是http://www.fJsen.com/j/node_94962.htm 这列表的所有十页的链接和时间）。
新建一个fJsen_spIDer.py,内容如下：

复制代码 代码如下:
#-*- Coding: utf-8 -*-
from scrapy.spIDer import BaseSpIDer
from scrapy.selector import HTMLXPathSelector
from fJsen.items import FJsenItem
class FJsenSpIDer(BaseSpIDer):
    name="fJsen"
    allowed_domains=["fJsen.com"]
    start_urls=['http://www.fJsen.com/j/node_94962_'+str(x)+'.htm' for x in range(2,11)]+['http://www.fJsen.com/j/node_94962.htm']
    def parse(self,response):
        hxs=HTMLXPathSelector(response)
        sites=hxs.select('//ul/li')
        items=[]
        for site in sites:
            item=FJsenItem()
            item['Title']=site.select('a/text()').extract()
            item['link'] = site.select('a/@href').extract()
            item['addtime']=site.select('span/text()').extract()
            items.append(item)
        return items                 

name:是确定蜘蛛的名称。它必须是独特的，就是说，你不能设置相同的名称不同的蜘蛛。
allowed_domains：这个很明显，就是允许的域名，或者说爬虫所允许抓取的范围仅限这个列表里面的域名。
start_urls：是一个网址列表，蜘蛛会开始爬。所以，第一页将被列在这里下载。随后的网址将生成先后从数据中包含的起始网址。我这里直接是列出十个列表页。
parse()：是蜘蛛的一个方法，当每一个开始下载的url返回的Response对象都会执行该函数。
这里面，我抓取每一个列表页中的<ul>下的<li>下的数据，包括Title,链接，还有时间，并插入到一个列表中

第三步，将抓取到的数据存入数据库中，这里就得在pipelines.py这个文件里面修改了
复制代码 代码如下:
# define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPElines setting
from os import path
from scrapy import signals
from scrapy.xlib.pydispatch import dispatcher
class FJsenPipeline(object):

    def __init__(self):
        self.conn=None
        dispatcher.connect(self.initialize,signals.engine_started)
        dispatcher.connect(self.finalize,signals.engine_stopped)
    def process_item(self,item,spIDer):
        self.conn.execute('insert into fJsen values(?,?,?)',(None,item['Title'][0],'http://www.jb51.net/'+item['link'][0],item['addtime'][0]))
        return item
    def initialize(self):
        if path.exists(self.filename):
            self.conn=sqlite3.connect(self.filename)
        else:
            self.conn=self.create_table(self.filename)
    def finalize(self):
        if self.conn is not None:
            self.conn.commit()
            self.conn.close()
            self.conn=None
    def create_table(self,filename):
        conn=sqlite3.connect(filename)
        conn.execute("""create table fJsen(ID integer primary key autoincrement,Title text,link text,addtime text)""")
        conn.commit()
        return conn

这里我暂时不解释，先继续，让这个蜘蛛跑起来再说。

第四步：修改setting.py这个文件：将下面这句话加进去
复制代码 代码如下:
ITEM_PIPElines=['fJsen.pipelines.FJsenPipeline']

接着，跑起来吧,执行：
复制代码 代码如下:
scrapy crawl fJsen

就会在目前下生成一个data.sqlite的数据库文件，所有抓取到的数据都会存在这里。

总结

以上是内存溢出为你收集整理的使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤全部内容，希望文章能够帮你解决使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。