ਤੁਸੀਂ Kafka ਵਿੱਚ ਸੁਨੇਹੇ ਕਿਵੇਂ ਤਿਆਰ ਕਰਦੇ ਅਤੇ ਖਪਤ ਕਰਦੇ ਹੋ (ਮੂਲ ਵਰਤੋਂ)?

Question

Accepted Answer

Kafka ਦੀ ਮੂਲ ਵਰਤੋਂ ਵਿੱਚ ਕਿਸੇ ਵਿਸ਼ੇ ਵਿੱਚ **ਸੁਨੇਹੇ ਤਿਆਰ ਕਰਨਾ** ਅਤੇ ਉਨ੍ਹਾਂ ਦੀ **ਖਪਤ ਕਰਨਾ** ਸ਼ਾਮਲ ਹੈ — ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਕਲਾਇੰਟ ਲਾਇਬ੍ਰੇਰੀ (Java, Python, ਆਦਿ) ਦੁਆਰਾ। ਮੂਲ produce/consume ਵਹਾਅ ਨੂੰ ਸਮਝਣਾ Kafka ਦੀ ਵਰਤੋਂ ਦਾ ਵਿਹਾਰਕ ਪ੍ਰਵੇਸ਼ ਬਿੰਦੂ ਹੈ।

## ਸੁਨੇਹੇ ਤਿਆਰ ਕਰਨਾ

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## ਸੁਨੇਹੇ ਦੀ ਖਪਤ ਕਰਨਾ

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## ਮੁੱਖ ਵਿਹਾਰਕ ਨੁਕਤੇ

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## ਇਹ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

ਮੂਲ produce/consume ਵਰਤੋਂ ਨੂੰ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ **Kafka ਦੀ ਵਰਤੋਂ ਦਾ ਵਿਹਾਰਕ ਪ੍ਰਵੇਸ਼ ਬਿੰਦੂ ਹੈ**, ਇਸ ਲਈ Kafka ਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਇਹ ਜ਼ਰੂਰੀ ਹੱਥੋਂ ਹਥੁੰਡ ਗਿਆਨ ਹੈ।

ਸੁਨੇਹੇ ਤਿਆਰ ਕਰਨਾ ਅਤੇ ਖਪਤ ਕਰਨਾ Kafka ਦੀ ਵਰਤੋਂ ਦਾ ਬੁਨਿਆਦੀ ਹੁਨਰ ਹੈ।

**ਸੁਨੇਹੇ ਤਿਆਰ ਕਰਨਾ** — ਇੱਕ producer ਨੂੰ ਜੋੜਨਾ ਅਤੇ ਰਿਕਾਰਡ (key, value) ਨੂੰ ਕਿਸੇ ਵਿਸ਼ੇ ਵਿੱਚ ਭੇਜਣਾ, **key partitioning ਅਤੇ ਆਰਡਰਿੰਗ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ** — ਬੁਨਿਆਦੀ ਲਿਖਣ ਕਾਰਜ ਹੈ।

**ਸੁਨੇਹੇ ਦੀ ਖਪਤ ਕਰਨਾ** — ਇੱਕ consumer ਨੂੰ **group ID** ਨਾਲ ਜੋੜਨਾ, ਕਿਸੇ ਵਿਸ਼ੇ ਦੀ ਸਦਸਿਤਾ ਲੈਣਾ, ਅਤੇ ਸੁਨੇਹਿਆਂ (offsets ਸਵੈਚਾਲੀ ਜਾਂ ਹੱਥੋਂ ਮਨਜ਼ੂਰ) ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨਾ — ਬੁਨਿਆਦੀ ਪੜ੍ਹਨ ਕਾਰਜ ਹੈ, consumer group ਜ਼ਰੀਏ ਖਪਤ ਕਿਵੇਂ ਸਕੇਲ ਹੁੰਦੀ ਹੈ।

**ਮੁੱਖ ਵਿਹਾਰਕ ਨੁਕਤਿਆਂ** — ਆਪਣੀ ਭਾਸ਼ਾ ਲਈ ਕਲਾਇੰਟ ਲਾਇਬ੍ਰੇਰੀ ਦੀ ਵਰਤੋਂ ਕਰਨਾ (Java, KafkaJS, Python, ਆਦਿ), producers 'ਤੇ ਆਰਡਰਿੰਗ ਲਈ keys ਸੈਟ ਕਰਨਾ ਅਤੇ ਸਥਿਤੀ ਲਈ acks ਨੂੰ ਕੌਂਫ਼ਿਗਰ ਕਰਨਾ, consumers 'ਤੇ group IDs ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਅਤੇ offsets ਮਨਜ਼ੂਰ ਕਰਨਾ, **serialization** ਨੂੰ ਸੰਭਾਲਣਾ (JSON, Avro, Protobuf, ਅਕਸਰ ਬਣਾਵਟੀ ਡੇਟਾ ਲਈ schema registry ਨਾਲ), ਅਤੇ ਗਲਤੀਆਂ, ਮੁੜ ਕੋਸ਼ਿਸ਼, ਅਤੇ **idempotent processing** ਨੂੰ ਸੰਭਾਲਣਾ (ਕਿਉਂਕਿ at-least-once delivery ਦਾ ਮਤਲਬ ਸੰਭਵ ਡੁਪਲੀਕੇਟ ਹੈ) — ਅਸਲ Kafka ਵਰਤੋਂ ਲਈ ਵਿਹਾਰਕ ਵਿਚਾਰ ਪ੍ਰਤੀਬਿੰਬਿਤ ਕਰਦੇ ਹਨ।

ਇਹ ਵਿਹਾਰਕ ਨੁਕਤੇ (keys, groups, serialization, idempotency) ਸੰਕਲਪਿਕ ਗਿਆਨ (partitions, consumer groups, delivery semantics) ਨੂੰ ਵਾਸਤਵਿਕ ਕੋਡ ਨਾਲ ਜੋੜਦੇ ਹਨ।

ਕਿਉਂਕਿ ਸੁਨੇਹੇ ਤਿਆਰ ਕਰਨਾ ਅਤੇ ਖਪਤ ਕਰਨਾ Kafka ਦੀ ਵਰਤੋਂ ਦਾ ਬੁਨਿਆਦੀ ਵਿਹਾਰਕ ਹੁਨਰ ਹੈ, ਅਤੇ ਮੂਲ ਵਹਾਅ ਅਤੇ ਵਿਹਾਰਕ ਨੁਕਤਿਆਂ (keys, groups, serialization, idempotency) ਨੂੰ ਸਮਝਣਾ ਜ਼ਰੂਰੀ ਹੱਥੋਂ ਹਥੁੰਡ ਗਿਆਨ ਹੈ, Kafka ਦੀ ਮੂਲ produce/consume ਵਰਤੋਂ ਨੂੰ ਸਮਝਣਾ ਮੁੱਲ ਵਾਲਾ, ਵਿਹਾਰਕ ਤੌਰ 'ਤੇ ਮਾਫ਼ੀ ਗਿਆਨ ਹੈ — Kafka ਦਾ ਵਿਹਾਰਕ ਪ੍ਰਵੇਸ਼ ਬਿੰਦੂ, ਸੰਕਲਪਾਂ ਨੂੰ ਕੋਡ ਨਾਲ ਜੋੜਦੇ ਹੋਏ, ਅਤੇ ਜੋ ਕੋਈ ਵੀ Kafka ਨਾਲ ਅਸਲ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾ ਰਿਹਾ ਹੈ ਉਸ ਲਈ ਜ਼ਰੂਰੀ।