python分布式爬虫如何设计架构？

不知道大家有没有发现，我们一直赖以自豪，灵活使用的框架scrapy，在某些平台上已经不能使用了，这样我们如果在碰到要做分布式的时候，要怎么处理呢？想了想求人不如做自己，我们要自己去涉及一个机构出来，想法怎么样？毕竟软件都是自己创造出来的，大家可以考虑怎么去设计，行啦，都一起来试试吧~

以下是架构设计。需要考虑内容有：

l 系统环境的选择

l 代码环境的编写

l 需要的安装包

l 还有服务器

理清楚思路以后，我们就正式开始吧~

系统环境：ubuntu20系统

代码环境：Python3.6

需要安装的Python包：

grequest 、pyquery 、pymysql、 pymon、goredis  

需要安装的软件有：redis、mongodb

这样以后，我们在整理出流程图，就可以啦~

好啦，正在学习的理工男们，都搞懂了嘛？需要注意的是，可能会会存在两个不同参数的模糊查询返回的结果会有相同的值，先给大家打个预防针，注意避免哦~更多学习内容，尽在python教程中心。