python分布式爬虫中的celery框架好搭建吗？

我们在构建一个框架之前，首先考虑的是用这个框架做些什么，能不能让这个框架尽可能的实现更多的功能 *** 作。在思考完了这些问题后，我们对框架的搭建已经有了初步的模型考量。今天就python分布式爬虫中另一个celery框架的搭建方法为大家进行讲解，较之前的两个框架比较来说，功能使用上更加广泛。

celery典型的分布式任务队列，常用于异步 *** 作中，如tornado、Django的异步任务中，用celery设计分布式爬虫系统，往往结合网络框架，打造一个爬虫任务接口，提供给其他人使用。

同时celery在定时任务方面有着优势，只需要在配置文件中设置一下，就可以定期执行任务，不必自己写定时 *** 作。

celery使用消息中间件，而这个消息中间件，可以使用Redis也可以使用RabbitMQ，但他的调度不必担心，已经封装。

主程序示例：

# -*- coding:utf-8 -*-
from celery import Celery
 
app = Celery("tasks")
app.config_from_object("celeryconfig")  # 指定配置文件
 
 
@app.task
def taskA(x, y):
    return x + y
 
 
@app.task
def taskB(x, y, z):
    return x + y + z
 
 
@app.task
def add(x, y):
    return x + y

以上只是celery框架在python分布式爬虫中搭建中的一个步骤，让小伙伴们体验一下搭建celery框架的感觉。有兴趣的小伙伴可以搜集相关的资料，完成整体elery框架的搭建。更多Python学习指路:PyThon学习网教学中心。