使用scrapy-redis 分布式爬虫的时候出现了no more duplicates will be shown

只需要在代码中添加：dont_filter=True即可

如下

yield scrapy.Request(xxxurl,callback=self.xxxx,dont_filter=True)

问题在于提交的被爬取url出现了重复的，所以爬虫不能正常运行