scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去

Scrapy依赖于twisted，所以如果Scrapy能用，twisted肯定是已经安装好了。

抓取到的数据，可以直接丢到MySQL，也可以用Django的ORM模型丢到MySQL，方便Django调用。方法也很简单，按数据库的语句来写就行了，在spiders目录里定义自己的爬虫时也可以写进去。

当然使用pipelines.py是更通用的方法，以后修改也更加方便。你的情况，应该是没有在Settings.py里定义pipelines，所以Scrapy不会去执行，就不会生成pyc文件了。

1. 检查网络

2. 输入关键字，拼接地址字符串，发送请求

3. 分析获取的结果（对字符串的处理），插入到数据库。

第一步骤参考:http://blog.csdn.net/yoyoch1/archive/2009/08/02/4401960.aspx

第二步骤参考: MSDN :WebClient 这个类

第三步骤略

from scrapy项目名.scrapy项目名.items import item类名

以上是pycharm自动填充的，相对路径没有问题，是从项目根目录开始的，然鹅，执行项目就报错------>ModuleNotFoundError: No module named 'scrapy项目名.scrapy项目名'

看了好多博客都说是因为scrapy项目名和爬虫文件名相同导致的，然鹅并没有，如果相同在创建爬虫文件的时候根本创建不成功

有说要import sys 然后添加路径，有说要把爬虫文件移出去，移到最外面等等等等

我都挨个试了不行

直到试了试上层路径开始找……

from ..items import item类名

成功了！

这…………究竟是谁的问题

---