Apakah itu Kafka Connect?

Question

Accepted Answer

**Kafka Connect** ialah rangka kerja untuk **mengintegrasikan Kafka dengan sistem luaran** (pangkalan data, storan, perkhidmatan) — memindahkan data masuk dan keluar daripada Kafka tanpa menulis kod tersuai, menggunakan **connector** yang boleh diguna semula. Ia memudahkan pembinaan saluran paip data.

## Apa yang Kafka Connect lakukan

```text
KAFKA CONNECT → a framework for streaming data BETWEEN Kafka and external systems:
  → SOURCE connectors → pull data FROM external systems INTO Kafka (e.g. a database → Kafka)
  → SINK connectors → push data FROM Kafka TO external systems (e.g. Kafka → a data warehouse)
  → uses reusable CONNECTORS (pre-built integrations) instead of custom producer/consumer code
→ "plug in" connectors to integrate systems with Kafka
```

## Mengapa guna Kafka Connect

```text
✓ NO custom code → use existing connectors for common systems (databases, S3, Elasticsearch,
  data warehouses, etc.) instead of writing producers/consumers
✓ Reliable, scalable → handles offsets, retries, scaling, fault tolerance, distributed mode
✓ Standardized → consistent way to integrate; config-driven (declarative)
✓ Many connectors available (Confluent Hub, community) for common systems
```

## Kegunaan biasa

```text
✓ DATA PIPELINES → stream data from databases into Kafka and out to other systems
✓ CHANGE DATA CAPTURE (CDC) → stream database changes into Kafka (e.g. Debezium) → react
  to data changes in real time
✓ INGESTION → bring data from many sources into Kafka
✓ EXPORT → move Kafka data to storage, search, analytics, warehouses
→ a key tool for building Kafka-based data integration/pipelines
```

## Mengapa ia penting

Memahami Kafka Connect amat berharga kerana ia merupakan **alat utama untuk mengintegrasikan Kafka dengan sistem luaran**, penting dalam pembinaan saluran paip data, jadi ia menjadi pengetahuan yang berguna untuk integrasi berasaskan Kafka.

Kafka Connect menangani keperluan biasa untuk memindahkan data antara Kafka dan sistem luaran (pangkalan data, storan, perkhidmatan) tanpa menulis kod integrasi tersuai.

Memahami **apa yang Kafka Connect lakukan** — menyediakan **source connector** (menarik data daripada sistem luaran ke dalam Kafka) dan **sink connector** (menolak data daripada Kafka ke sistem luaran), menggunakan connector pra-bina yang boleh diguna semula dan bukannya kod producer/consumer tersuai — menjelaskan peranannya dalam integrasi data.

Memahami **mengapa menggunakannya** — mengelakkan kod tersuai (menggunakan connector sedia ada untuk sistem biasa seperti pangkalan data, S3, Elasticsearch, dan data warehouse), kebolehpercayaan dan kebolehskalaan (mengendalikan offset, retry, penskalaan, dan toleransi kesalahan dalam mod teragih), penyeragaman (integrasi dipacu konfigurasi dan deklaratif), dan ketersediaan banyak connector — menjelaskan nilainya berbanding menulis kod integrasi secara manual.

Memahami **kegunaan biasa** — saluran paip data (menstrim data antara sistem melalui Kafka), **change data capture** (menstrim perubahan pangkalan data ke dalam Kafka, contohnya dengan Debezium, untuk bertindak balas terhadap perubahan data dalam masa nyata — corak yang penting), pengingesan (membawa data daripada banyak sumber ke dalam Kafka), dan eksport (memindahkan data Kafka ke storan, carian, dan analitik) — menjelaskan di mana Kafka Connect sesuai, terutamanya untuk kes penggunaan saluran paip data dan CDC yang menjadi teras peranan Kafka sebagai tulang belakang data.

Kafka Connect amat memudahkan pembinaan integrasi data berasaskan Kafka dengan menyediakan connector yang boleh diguna semula dan boleh dipercayai.

Memandangkan Kafka Connect ialah alat utama untuk mengintegrasikan Kafka dengan sistem luaran (teras kepada saluran paip data dan CDC) dan memahami apa yang dilakukannya, manfaatnya (tiada kod tersuai, boleh dipercayai, seragam), serta kegunaannya berguna untuk integrasi berasaskan Kafka, memahami Kafka Connect ialah pengetahuan yang berharga dan relevan secara praktikal — alat utama untuk mengintegrasikan Kafka dengan sistem luaran melalui connector yang boleh diguna semula, teras kepada pembinaan saluran paip data dan CDC, memudahkan integrasi data, dan penting bagi peranan Kafka sebagai tulang belakang data yang menghubungkan banyak sistem.