如何归档旧数据并安全清理分区？

Question

如何归档旧数据并安全清理分区？

IT Interview Practice · Accepted Answer

先决定**哪些数据可以离开在线系统，以及之后如何查询这些数据**，再判断哪些内容能够安全删除。

归档保留可用的历史副本，清理删除在线副本。两者应分别决策：导出成功，并不等于可以安全删除。

## 1. 定义符合条件的数据

假设订单系统只在线保留最近十二个月的已完成订单。这是示例政策，并非通用要求。更早的订单如果仍有未解决的争议，可能需要继续保留在线。

明确截止时间、时区、例外和历史查询需求。如果业务需要查找旧发票，归档就必须保留所需的标识和关联关系。

**分区**将一张逻辑表拆成多个物理部分，例如每月一个分区。只有分区内所有记录都符合清理条件，才能整体删除。否则，应安全迁移例外记录，或者采用更精确的删除方式。

## 2. 防止归档遗漏后续变更

假设订单复制完成后，原记录删除前又修改了金额，此时导出的副本已经过时。

选择一种方式消除这个时间窗口：

- 在获取一致性快照前，停止对选定范围的写入。
- 或捕获复制期间的变更，在删除前补齐到约定的最终截止点。

还要确定迟到记录和后续修正写到哪里。只筛选旧时间戳，并不能阻止其他进程修改这些行。

## 3. 证明保存的副本确实可用

```text
[Eligible range] -> [Consistent export] -> [Archive + manifest]
                                                |
                                      [Restore and verify]
```

清单记录导出范围、表结构版本、记录数和文件校验和，帮助识别归档并发现文件缺失或损坏。

不要只检查文件是否存在：

- 对比记录数及有业务意义的总数，例如按币种汇总的金额。
- 检查完整性、标识和关联关系。
- 在隔离环境中恢复有代表性的数据，查出用户需要的历史订单或发票。

记录已经验证的源数据截止点和检查人员。保护归档访问权限，并规定保留期限。只有证明必要的恢复路径可行，才能删除原数据。

## 4. 选择删除在线副本的方式

| 情况 | 方法 | 需要验证 |
| --- | --- | --- |
| 整个分区符合条件 | 通过计划维护分离或删除分区 | 归档验证、锁和依赖对象。 |
| 可删除记录与活跃记录混合 | 使用可恢复的小批次删除 | 稳定筛选、事务大小和副本延迟。 |

在 PostgreSQL 中，分离分区后会留下独立表，可以先归档和验证，再删除。如果验证期间将历史查询路由到这张独立表，这就是一种可行顺序。

删除分区避免逐行删除，但仍然需要锁。并发分离存在限制，要检查实际版本及依赖关系。分批删除时，还应监控事务日志和清理工作。[PostgreSQL 分区维护](https://www.postgresql.org/docs/current/ddl-partitioning.html)。

## 5. 让重试安全

持久化记录“已导出、已验证、待删除、已清理”等阶段。重启后任务应使用已经验证的精确范围，而不是重新计算一个更大的截止范围。

删除前，再次确认范围内没有尚未归档的变更。删除后，确认在线查询正常，归档记录仍可检索。

**记住：**确定资格 → 控制变更 → 证明可恢复 → 选择删除方式 → 验证结果。目标是减少在线数据，同时保留可靠的历史访问路径。

情况	方法	需要验证
整个分区符合条件	通过计划维护分离或删除分区	归档验证、锁和依赖对象。
可删除记录与活跃记录混合	使用可恢复的小批次删除	稳定筛选、事务大小和副本延迟。

1. 定义符合条件的数据

2. 防止归档遗漏后续变更

3. 证明保存的副本确实可用

4. 选择删除在线副本的方式

5. 让重试安全

相关问题