Kafka मध्ये संदेश कसे तयार करायचे आणि वापरायचे (मूलभूत वापर)?

Question

IT Interview Practice · Accepted Answer

Kafka चा मूलभूत वापर एका विषयाला **संदेश तयार करणे** आणि त्यांचा **वापर करणे** समाविष्ट करते — सामान्यत: क्लायंट लायब्ररीद्वारे (Java, Python, इत्यादी). मूलभूत produce/consume प्रवाह समजून घेणे हा Kafka वापरण्याचा व्यावहारिक प्रारंभिक बिंदू आहे.

## संदेश तयार करणे

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## संदेश वापरणे

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## मुख्य व्यावहारिक मुद्दे

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## हे का महत्त्वाचे आहे

mूलभूत produce/consume वापर समजून घेणे मूल्यवान आहे कारण हा **Kafka वापरण्याचा व्यावहारिक प्रारंभिक बिंदू** आहे, म्हणून Kafka सह कार्य करण्यासाठी हे आवश्यक व्यावहारिक ज्ञान आहे.

संदेश तयार करणे आणि वापरणे हा Kafka चा अनुप्रयोगांमध्ये वापर करण्यासाठी मूलभूत कौशल्य आहे.

**संदेश तयार करणे** समजून घेणे — एक प्रोडक्टर जोडणे आणि विषयाला रेकॉर्ड (key, value) पाठवणे, **key विभाजन आणि क्रमवारी ठरविते** — हा मूलभूत लेखन ऑपरेशन आहे.

**संदेश वापरणे** समजून घेणे — एक ज्यूमर **group ID** सह जोडणे, एका विषयास सदस्यता घेणे, आणि संदेश प्रक्रिया करणे (offsets स्वयंचलितपणे किंवा व्यक्तिनिष्ठपणे प्रतिबद्ध केले जातात) — हा मूलभूत वाचन ऑपरेशन आहे, consumer group हा वापर कसा स्केल होतो हे दर्शविते.

**मुख्य व्यावहारिक मुद्दे** समजून घेणे — आपल्या भाषेसाठी क्लायंट लायब्ररी (Java, KafkaJS, Python, इत्यादी) वापरणे, key सेट करणे क्रमवारीसाठी आणि प्रोडक्टरवर durability साठी acks कॉन्फिगर करणे, consumers वर group IDs वापरणे आणि offsets प्रतिबद्ध करणे, **serialization** हाताळणे (JSON, Avro, Protobuf, अनेकदा structured data साठी schema registry सह), आणि त्रुटी, पुन्हा प्रयत्न, आणि **idempotent processing** हाताळणे (कारण at-least-once delivery म्हणजे संभाव्य डुप्लिकेट्स) — वास्तविक Kafka वापरासाठी व्यावहारिक विचार प्रतिबिंबित करते.

हे व्यावहारिक मुद्दे (keys, groups, serialization, idempotency) संकल्पनात्मक ज्ञान (partitions, consumer groups, delivery semantics) वास्तविक कोडशी जोडतात.

संदेश तयार करणे आणि वापरणे हा Kafka चा अनुप्रयोगांमध्ये वापर करण्यासाठी मूलभूत व्यावहारिक कौशल्य असल्याने, आणि मूलभूत प्रवाह आणि व्यावहारिक मुद्दे (keys, groups, serialization, idempotency) समजून घेणे आवश्यक व्यावहारिक ज्ञान असल्याने, मूलभूत Kafka produce/consume वापर समजून घेणे मूल्यवान, व्यावहारिकदृष्ट्या प्रासंगिक ज्ञान आहे — Kafka वापरण्याचा व्यावहारिक प्रारंभिक बिंदू, संकल्पना कोडशी जोडणे, आणि Kafka सह अनुप्रयोग तयार करणाऱ्या कोणासाठीही आवश्यक आहे.

संदेश तयार करणे

संदेश वापरणे

मुख्य व्यावहारिक मुद्दे

हे का महत्त्वाचे आहे

संबंधित प्रश्न