Kafka-இல் producers மற்றும் consumers எப்படி வேலை செய்கிறார்கள்?

Question

Accepted Answer

**Producers** Kafka topics-க்கு events-ஐ publish (எழுது) செய்கிறார்கள், மற்றும் **consumers** அவற்றிலிருந்து events-ஐ subscribe (படி) செய்கிறார்கள். அவர்கள் எப்படி வேலை செய்கிறார்கள் என்பதை — partitioning, offsets, மற்றும் consumer groups உட்பட — புரிந்து கொள்வது Kafka-ஐ பயன்படுத்துவதற்கு அடிப்படை.

## Producers — events-ஐ எழுதுதல்

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — events-ஐ படிக்கும்

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (scaling-க்கு முக்கியம்)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## இது ஏன் முக்கியமானது

Producers மற்றும் consumers எப்படி வேலை செய்கிறார்கள் என்பதை புரிந்து கொள்வது அடிப்படை, ஏனெனில் அவை **Kafka-க்குள் மற்றும் வெளியே தரவு எப்படி பாய்கிறது**, எனவே Kafka-ஐ பயன்படுத்துவதற்கு இது அவசியம்.

Producers events-ஐ எழுதுகிறார்கள் மற்றும் consumers அவற்றை படிக்கிறார்கள் — அடிப்படை தரவு பாய்வு.

**Producers**-ஐ புரிந்து கொள்வது — topics-க்கு events-ஐ publish செய்வது, **key partition-ஐ தீர்மானிக்கும்** (ஒரே key ஒரே partition-ற்கு வரிசையமைப்பு, key இல்லாதால் round-robin விநியோகம்), durability-ற்கு acknowledgments-ஐ configure செய்வது, மற்றும் throughput-ற்கு batching செய்வது — Kafka-க்கு தரவு எப்படி உள்ளே நுழையும் என்பதை விளக்குகிறது.

**Consumers**-ஐ புரிந்து கொள்வது — events-ஐ தங்கள் **offset** (நிலை) ஐ track செய்யும்போது படிக்கும் (அவர்கள் எங்கே நின்றார்கள் என்பதிலிருந்து மீண்டும் தொடருவதற்கு), அவர்கள் சொந்த गതியில் படிக்கும் (events retained-இருக்கும்), எந்த offset-িலிருந்தும் **replay** செய்ய முடிவது, மற்றும் offsets-ஐ commit செய்வது முன்னேற்றத்தை பதிவு செய்வதற்கு — தரவு எப்படி படிக்கப்படும், Kafka-ன் distinctive replay capability உட்பட.

சबसे महत्वपूर्ण रूप से, **consumer groups**-ஐ புரிந்து கொள்வது Kafka-ன் scaling model-ற்கு அவசியம்: consumers ஒன்றாக வேலை செய்கிறார்கள், அங்கு **ஒவ்வொரு partition group-ல் ஒரு consumer-ஆல் consumed-பட்டுவிடுகிறது** (parallel processing-ஐ enable செய்கிறது, partition count-வரை consumers-ஐ சேர்த்து scaling செய்கிறது), ஒரு consumer தோல்வியடைந்தால் automatic **rebalancing**-உடன் (fault tolerance), **வெவ்வேறு consumer groups ஒவ்வொன்றும் all events-ஐ independently படிக்கிறது** (pub/sub enable செய்கிறது, அங்கு multiple groups ஒவ்வொன்றும் full stream பெறுகிறது).

இந்த consumer-group model Kafka consumption-ஐ scale செய்வதற்கு மற்றும் queue-like (group-ற்குள்) மற்றும் pub/sub (groups-முழுவதும்) patterns-ஐ support செய்வதற்கு அடிப்படை.

Producers மற்றும் consumers Kafka-க்குள் மற்றும் வெளியே தரவு எப்படி பாய்கிறது, மற்றும் அவற்றின் workings-ஐ புரிந்து கொள்வது — partitioning, offsets, replay, மற்றும் especially consumer groups (scaling-ற்கு key மற்றும் queue/pub-sub duality) — Kafka-ஐ பயன்படுத்துவதற்கு அவசியம், எனவே producers மற்றும் consumers எப்படி வேலை செய்கிறார்கள் என்பதை புரிந்து கொள்வது அவசியம், Kafka-ல் தரவு பாய்விற்கு அடிப்படை — consumer groups Kafka-ன் scaling மற்றும் consumption model-ஐ புரிந்து கொள்வதற்கு specially முக்கியம், மற்றும் Kafka-ஐ பயன்படுத்தும் யாருக்கும் அவசியம்.