Как вы производите и потребляете сообщения в Kafka (базовое использование)?

Question

Accepted Answer

Базовое использование Kafka включает **производство** сообщений в тему и их **потребление** — как правило, через клиентскую библиотеку (Java, Python и т. д.). Понимание базового потока производства/потребления — это практический вход в использование Kafka.

## Производство сообщений

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Потребление сообщений

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Ключевые практические моменты

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## Почему это важно

Понимание базового использования производства/потребления ценно, потому что это **практический вход в использование Kafka**, поэтому это необходимое практическое знание для работы с Kafka.

Знание того, как производить и потреблять сообщения, является фундаментальным навыком для использования Kafka в приложениях.

Понимание **производства сообщений** — подключение producer и отправка записей (key, value) в тему, где **key определяет partitioning и порядок** — это базовая операция записи.

Понимание **потребления сообщений** — подключение consumer с **group ID**, подписка на тему и обработка сообщений (с offsets, которые коммитятся автоматически или вручную) — это базовая операция чтения, где consumer group определяет масштабирование потребления.

Понимание **ключевых практических моментов** — использование клиентской библиотеки для вашего языка (Java, KafkaJS, Python и т. д.), установка keys для упорядочивания и конфигурация acks для долговечности на producers, использование group IDs и коммит offsets на consumers, обработка **сериализации** (JSON, Avro, Protobuf, часто с registry схемы для структурированных данных) и обработка ошибок, повторов и **идемпотентной обработки** (так как at-least-once delivery означает возможные дубликаты) — отражает практические соображения для реального использования Kafka.

Эти практические моменты (keys, groups, serialization, idempotency) связывают концептуальное знание (partitions, consumer groups, delivery semantics) с фактическим кодом.

Поскольку производство и потребление сообщений — это фундаментальный практический навык для использования Kafka в приложениях, и поскольку понимание базового потока и практических моментов (keys, groups, serialization, idempotency) необходимо как практическое знание, понимание базового использования Kafka produce/consume ценно, практически релевантно — это практический вход в использование Kafka, связывание концепций с кодом и необходимо для всех, кто на самом деле строит приложения с Kafka.