每个allowed_domains的草率设置深度限制

每个allowed_domains的草率设置深度限制

Scrapy没有提供任何此类信息。您可以设置

DEPTH_LIMIT

每个蜘蛛，但不能设置每个域。

我们能做些什么？阅读代码，喝咖啡并解决（顺序很重要）。

我们的想法是禁用Scrapy的内置

DepthMiddleware

和提供我们的定制一个来代替。

首先，让我们定义设置：

• DOMAIN_DEPTHS

  将是每域深度限制的字典

• DEPTH_LIMIT

  设置，如果未配置域，我们将保留默认设置

设置示例：

DOMAIN_DEPTHS = {'amazon.com': 1, 'homedepot.com': 4}DEPTH_LIMIT = 3

好的，现在是自定义中间件（基于

DepthMiddleware

）：

from scrapy import logfrom scrapy.http import Requestimport tldextractclass DomainDepthMiddleware(object):    def __init__(self, domain_depths, default_depth):        self.domain_depths = domain_depths        self.default_depth = default_depth    @classmethod    def from_crawler(cls, crawler):        settings = crawler.settings        domain_depths = settings.getdict('DOMAIN_DEPTHS', default={})        default_depth = settings.getint('DEPTH_LIMIT', 1)        return cls(domain_depths, default_depth)    def process_spider_output(self, response, result, spider):        def _filter(request): if isinstance(request, Request):     # get max depth per domain     domain = tldextract.extract(request.url).registered_domain     maxdepth = self.domain_depths.get(domain, self.default_depth)     depth = response.meta.get('depth', 0) + 1     request.meta['depth'] = depth     if maxdepth and depth > maxdepth:         log.msg(format="Ignoring link (depth > %(maxdepth)d): %(requrl)s ",      level=log.DEBUG, spider=spider,      maxdepth=maxdepth, requrl=request.url)         return False return True        return (r for r in result or () if _filter(r))

请注意，它需要

tldextract

安装模块（用于从url中提取域名）：

>>> import tldextract>>> url = 'http://stackoverflow.com/questions/27805952/scrapy-set-depth-limit-per-allowed-domains'>>> tldextract.extract(url).registered_domain'stackoverflow.com'

现在，我们需要关闭默认的中间件并使用我们实现的中间件：

SPIDER_MIDDLEWARES = {    'myproject.middlewares.DomainDepthMiddleware': 900,    'scrapy.contrib.spidermiddleware.depth.DepthMiddleware': None}