scrapy

scrapy

你有两种选择可以解决你的问题。一般的做法是使用

yield

来生成新请求

return

。这样，你可以从单个回调中发出多个新请求。

在你的情况下，可能有一个更简单的解决方案：只需从这样的模式中生成启动urs列表：

class MySpider(baseSpider):    start_urls = ['http://example.com/foo/bar/page_%s.html' % page for page in xrange(1,54)]