Celery + Python

什么是 Celery？

Celery 是一个基于分布式消息传递的 异步任务队列（Task Queue）系统，用 Python 编写，常用于处理耗时操作（如发送邮件、图像处理、数据导入等），从而提升 Web 应用的响应速度。

它支持多种消息中间件（如 RabbitMQ、Redis、Amazon SQS），并可轻松与 Django、Flask 等框架集成。

核心特性

• ✅ 支持异步与定时任务（通过 celery beat）
• ✅ 自动重试失败任务
• ✅ 任务结果存储（Result Backend）
• ✅ 高度可扩展，支持多 worker 并行处理
• ✅ 丰富的监控工具（如 Flower）

快速开始示例

安装 Celery（假设使用 Redis 作为 broker）：

pip install celery redis

创建 tasks.py：

from celery import Celery

app = Celery('tasks', broker='redis://localhost:6379/0')

@app.task
def add(x, y):
    return x + y

启动 Worker：

celery -A tasks worker --loglevel=info

在 Python 中调用任务：

from tasks import add
result = add.delay(4, 6)
print(result.get())  # 输出: 10

常见使用场景

1. 用户注册后发送欢迎邮件：避免阻塞 HTTP 响应。
2. 批量数据处理：如 Excel 导入、日志分析。
3. 定时任务：每日数据备份、清理缓存。
4. 微服务间通信：解耦系统模块。

最佳实践建议

• 为不同任务设置不同的队列（--queues）以实现优先级管理。
• 合理配置超时、重试次数和错误处理逻辑。
• 使用 Flower 监控任务状态：pip install flower → celery -A proj flower
• 避免在任务中使用全局状态或未序列化的对象。

资源推荐

📚 78TP文档：https://docs.celeryq.dev/
🐍 Django 集成指南：Celery with Django
🌸 监控工具 Flower：Flower Documentation