遇到第一个异常时，如何使草率的爬网中断并退出？

遇到第一个异常时，如何使草率的爬网中断并退出？

在Spider中，您可以抛出CloseSpider异常。

def parse_page(self, response):    if 'Bandwidth exceeded' in response.body:        raise CloseSpider('bandwidth_exceeded')

对于其他（中间件，管道等），您可以按照akhter所述手动调用close_spider。

从0.11开始，存在

CLOSESPIDER_ERRORCOUNT

：

一个整数，指定在关闭蜘蛛网之前要接收的最大错误数。如果蜘蛛产生的错误数量超过了该数目，它将以

closespider_errorcount

原因关闭。如果为零（或未设置），则蜘蛛不会因错误数量而关闭。

如果将其设置为

1

，则蜘蛛会在第一个异常时关闭。