什么是 Kafka Connect？

Question

什么是 Kafka Connect？

Accepted Answer

**Kafka Connect** 是一个框架，用于**将 Kafka 与外部系统集成**（数据库、存储、服务）— 无需编写自定义代码，使用可重用的**连接器**在 Kafka 中移进移出数据。它简化了数据管道的构建。

## Kafka Connect 的功能

```text
KAFKA CONNECT → a framework for streaming data BETWEEN Kafka and external systems:
  → SOURCE connectors → pull data FROM external systems INTO Kafka (e.g. a database → Kafka)
  → SINK connectors → push data FROM Kafka TO external systems (e.g. Kafka → a data warehouse)
  → uses reusable CONNECTORS (pre-built integrations) instead of custom producer/consumer code
→ "plug in" connectors to integrate systems with Kafka
```

## 为什么使用 Kafka Connect

```text
✓ NO custom code → use existing connectors for common systems (databases, S3, Elasticsearch,
  data warehouses, etc.) instead of writing producers/consumers
✓ Reliable, scalable → handles offsets, retries, scaling, fault tolerance, distributed mode
✓ Standardized → consistent way to integrate; config-driven (declarative)
✓ Many connectors available (Confluent Hub, community) for common systems
```

## 常见用途

```text
✓ DATA PIPELINES → stream data from databases into Kafka and out to other systems
✓ CHANGE DATA CAPTURE (CDC) → stream database changes into Kafka (e.g. Debezium) → react
  to data changes in real time
✓ INGESTION → bring data from many sources into Kafka
✓ EXPORT → move Kafka data to storage, search, analytics, warehouses
→ a key tool for building Kafka-based data integration/pipelines
```

## 为什么这很重要

理解 Kafka Connect 很有价值，因为它是**将 Kafka 与外部系统集成的关键工具**，是构建数据管道的核心，因此它对于基于 Kafka 的集成来说是有用的知识。

Kafka Connect 解决了一个常见需求：在 Kafka 和外部系统（数据库、存储、服务）之间移动数据，而无需编写自定义集成代码。

理解 **Kafka Connect 的功能** — 提供 **source 连接器**（从外部系统将数据拉入 Kafka）和 **sink 连接器**（从 Kafka 将数据推送到外部系统），使用可重用的预构建连接器而不是自定义的 producer/consumer 代码 — 能够阐明它在数据集成中的作用。

理解**为什么使用它** — 避免自定义代码（为常见系统如数据库、S3、Elasticsearch 和数据仓库使用现有连接器）、可靠性和可扩展性（在分布式模式中处理偏移量、重试、扩展和容错）、标准化（配置驱动、声明式集成），以及大量连接器的可用性 — 能够说明相比手写集成代码的价值。

理解**常见用途** — 数据管道（通过 Kafka 在系统之间流式传输数据）、**变更数据捕获**（将数据库变更流式传入 Kafka，例如使用 Debezium，以实时响应数据变更 — 一种重要的模式）、数据摄取（从多个源向 Kafka 引入数据），以及导出（将 Kafka 数据移动到存储、搜索和分析系统）— 能够阐明 Kafka Connect 的应用位置，特别是对于数据管道和 CDC 用例，这些用例是 Kafka 作为数据骨干角色的核心。

Kafka Connect 通过提供可重用的、可靠的连接器，显著简化了基于 Kafka 的数据集成的构建。

由于 Kafka Connect 是将 Kafka 与外部系统集成的关键工具（对数据管道和 CDC 至关重要），理解它的功能、优势（无自定义代码、可靠、标准化）以及用途对于基于 Kafka 的集成很有用，因此理解 Kafka Connect 是有价值的、实用的知识 — 通过可重用连接器将 Kafka 与外部系统集成的关键工具，对构建数据管道和 CDC 至关重要，简化数据集成，并对 Kafka 作为连接多个系统的数据骨干的角色很重要。