Kafka'da mesajları nasıl üretir ve tüketirsiniz (temel kullanım)?

Question

IT Interview Practice · Accepted Answer

Temel Kafka kullanımı, bir konuya mesaj **üretmeyi** ve bunları tüketmeyi içerir — genellikle bir istemci kütüphanesi aracılığıyla (Java, Python, vb.). Temel üret/tüket akışını anlamak, Kafka kullanımının pratik giriş noktasıdır.

## Mesaj üretme

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Mesaj tüketme

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Önemli pratik noktalar

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## Neden önemli

Temel üret/tüket kullanımını anlamak değerlidir çünkü bu, **Kafka kullanımının pratik giriş noktasıdır**, bu nedenle Kafka ile çalışmak için gerekli uygulamalı bilgidir.

Mesajları üretmeyi ve tüketmeyi bilmek, Kafka'yı uygulamalarda kullanmak için temel beceridir.

**Mesaj üretmeyi anlamak** — bir üreticiye bağlanmak ve kayıtları (anahtar, değer) bir konuya göndermek, **anahtarın bölümleme ve sıralamayı belirlemesi** — temel yazma işlemidir.

**Mesaj tüketmeyi anlamak** — bir tüketiciyi **grup kimliğiyle** bağlamak, bir konuya abone olmak ve mesajları işlemek (offset'ler otomatik veya manuel olarak işlenir) — temel okuma işlemidir, tüketici grubu tüketimin ölçeklendirilmesinin yoludur.

**Önemli pratik noktaları anlamak** — diliniz için bir istemci kütüphanesi kullanmak (Java, KafkaJS, Python, vb.), üreticilerde sıralama için anahtarları ayarlamak ve dayanıklılık için ack'leri yapılandırmak, tüketicilerde grup kimliklerini kullanmak ve offset'leri işlemek, **serileştirmeyi** işlemek (JSON, Avro, Protobuf, genellikle yapılandırılmış veriler için bir schema registry ile) ve hataları, yeniden denemeleri ve **idempotent işlemeyi** işlemek (en az bir kez teslimat muhtemel tekrarları anlamına geldiğinden) — gerçek Kafka kullanımının pratik hususlarını yansıtır.

Bu pratik noktalar (anahtarlar, gruplar, serileştirme, idempotency) kavramsal bilgiyi (bölümler, tüketici grupları, teslimat semantiği) gerçek koda bağlar.

Mesajları üretmek ve tüketmek Kafka'yı uygulamalarda kullanmanın temel pratik becerisi olduğundan ve temel akışı ile pratik noktaları (anahtarlar, gruplar, serileştirme, idempotency) anlamak gerekli uygulamalı bilgi olduğundan, temel Kafka üret/tüket kullanımını anlamak değerli, pratik olarak ilgili bilgidir — Kafka kullanımının pratik giriş noktası, kavramları koda bağlama ve Kafka ile uygulamalar oluşturan herkes için gereklidir.

Mesaj üretme

Mesaj tüketme

Önemli pratik noktalar

Neden önemli

İlgili sorular