如何协调多个 NestJS 节点上的定时任务？

Question

IT Interview Practice · Accepted Answer

先明确“只有一个节点执行 cronjob”的含义。**避免同时执行，与避免重复产生业务效果，是不同要求。**共享调度器协调执行，业务操作本身仍须经得起崩溃和重试。

假设每日开票任务部署在三个 NestJS 节点上。我们希望按计划执行，同时避免 worker 重启后多开一张发票。

## 1. 理解为什么所有节点都会启动任务

每个应用实例都注册自己的 cron 回调，到了时间便可能独立启动：

```text
00:00 -> Node A -> invoice task
      -> Node B -> invoice task
      -> Node C -> invoice task
```

本地 isRunning 标志只存在于一个进程。NestJS 的 waitForCompletion 能阻止该实例回调重叠，但不能协调其他节点。三个节点各加同样标志，依然是三个独立决策。[NestJS 定时任务](https://docs.nestjs.com/techniques/task-scheduling)。

因此，需要一个共享位置决定有哪些工作，以及谁可以处理。

## 2. 选择协调方式

| 情况 | 可评估的方案 | 仍需负责的事项 |
| --- | --- | --- |
| 平台已有定时任务能力 | 在 Web 实例外调度 | 配置重叠、恢复及漏跑行为。 |
| 团队已经运维 BullMQ | 共享 Job Scheduler 和专用队列 | 配置全局并发与安全重试。 |
| 现有任务必须留在应用节点 | 共享锁或租约 | 正确处理所有权、过期和旧 worker。 |

在开票例子中，如果已经使用 Redis 和 BullMQ，采用稳定 scheduler ID 的共享调度器很实际。把调度与 worker 分离，避免增加 Web 节点时产生独立时间表。

在支持的 BullMQ 版本中，将专用队列的 global concurrency 设为一。这会限制跨 worker 的活跃任务数；每个 worker 的本地并发设为一，仍可能让多个 worker 同时处理不同任务。[全局并发](https://docs.bullmq.io/guide/queues/global-concurrency)。

还要决定昨天的任务未结束时是等待、跳过还是合并，并定义时区以及停机后是否补跑遗漏的业务日期。

## 3. 保护发票，而不只是任务

假设 worker 已创建发票，却在记录任务完成前崩溃。恢复时可能再次执行，而发票已经存在。

```text
[Create invoice] -> [Crash before completion]
                              |
                            [Retry]
                              |
                  [Same business key: reuse result]
```

使用稳定业务键，例如客户加账期。对于本地数据库工作，可以用唯一约束和事务将发票创建与执行完成记录绑定。重试时返回已有结果，而不是创建第二张发票。

调用外部服务时，优先使用它支持的幂等键，并核对不确定结果。单靠队列任务 ID 或保留任务记录，不能永久保证业务动作不再重复。[幂等任务](https://docs.bullmq.io/patterns/idempotent-jobs)。

## 4. 理解锁能保证什么

共享锁必须原子获取。使用所有权令牌、过期时间和续约机制，释放时确认令牌仍然匹配，否则旧 worker 可能释放新 worker 的锁。

过期带来另一种情况：暂停的 worker 在租约到期后恢复，此时新 worker 已经开始。关键写入可能需要 fencing token，即递增的所有权编号，由目标端验证并拒绝旧 worker。仅设置很长的超时不能消除风险。

协调服务不可用时，要决定任务是否等待，而不是无所有权地执行。对于后果重要的工作，等待通常更安全。

## 5. 验证失败场景

测试多节点、发票创建后崩溃、暂停超过租约、Redis 断连以及滚动发布。记录业务日期、worker、尝试次数和结果，区分重复尝试与重复业务效果。

**记住：**协调调度 → 限制共享执行 → 业务操作可安全重试 → 测试恢复。只有一个活跃任务，并不能证明业务效果恰好发生一次。

情况	可评估的方案	仍需负责的事项
平台已有定时任务能力	在 Web 实例外调度	配置重叠、恢复及漏跑行为。
团队已经运维 BullMQ	共享 Job Scheduler 和专用队列	配置全局并发与安全重试。
现有任务必须留在应用节点	共享锁或租约	正确处理所有权、过期和旧 worker。

1. 理解为什么所有节点都会启动任务

2. 选择协调方式

3. 保护发票，而不只是任务

4. 理解锁能保证什么

5. 验证失败场景

相关问题