使用PyCharm写Scrapy的二三事

由于PyCharm中没有直接创建Scrapy项目的选项,所以使用命令行创建一个项目

使用PyCharm打开这个项目,却发现爬虫中的parse函数是灰色的框
显示:
Signature of method 'ExampleSpider.parse()' does not match signature of the base method in class 'Spider'
​

看一下父类中的parse函数是如何定义的
​

把**kwargs参数加入到自己的爬虫的parse上面去
​

发现灰色的框消失了,但是问题并没有结束
​

写parse函数内容的时候,发现response居然没有代码提示
在运行过程中,发现response是一个scrapy.http.response.Response对象
引入这个对象并加入提示
​

可以看到有了正常的代码提示了
但是,总不能每次都这样写吧
查看genspider命令,发现-t参数可以使用自定义模板
​
找到模板路径
​

拷贝一份basic并使用文本编辑器打开
​

加入需要补充的代码
然后使用自定义的模板创建爬虫
​

可以看到,新创建的爬虫已经没有上述问题了