Kafka માં પ્રોડ્યુસર્સ અને કન્ઝ્યુમર્સ કેવી રીતે કામ કરે છે?

Question

Accepted Answer

**પ્રોડ્યુસર્સ** Kafka ટોપિક્સમાં ઇવેન્ટ્સ પ્રકાશિત (લખે) છે, અને **કન્ઝ્યુમર્સ** તેમાંથી ઇવેન્ટ્સ સબસ્ક્રાઇબ (વાંચે) છે. તેઓ કેવી રીતે કામ કરે છે તે સમજવું — જેમાં પાર્ટીશનિંગ, ઑફસેટ્સ અને કન્ઝ્યુમર ગ્રુપ્સ સામેલ છે — તે Kafka નો ઉપયોગ કરવા માટે મૂળભૂત છે.

## પ્રોડ્યુસર્સ — ઇવેન્ટ્સ લખવા

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## કન્ઝ્યુમર્સ — ઇવેન્ટ્સ વાંચવા

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## કન્ઝ્યુમર ગ્રુપ્સ (સ્કેલિંગ માટે મુખ્ય)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## તે શા માટે મહત્વપૂર્ણ છે

પ્રોડ્યુસર્સ અને કન્ઝ્યુમર્સ કેવી રીતે કામ કરે છે તે સમજવું મૂળભૂત છે કારણ કે તે **કેવી રીતે ડેટા Kafka માં અને બહાર વહે છે** તે દર્શાવે છે, તેથી તે Kafka નો ઉપયોગ કરવા માટે આવશ્યક છે.

પ્રોડ્યુસર્સ ઇવેન્ટ્સ લખે છે અને કન્ઝ્યુમર્સ તેમને વાંચે છે — આ મૂળભૂત ડેટા ફ્લો છે.

**પ્રોડ્યુસર્સ** સમજવું — ટોપિક્સમાં ઇવેન્ટ્સ પ્રકાશિત કરવું, **કી પાર્ટીશન નક્કી કરે છે** (સમાન કી સમાન પાર્ટીશનમાં જાય છે ક્રમમાં રાખવા માટે, કોઇ કી રાઉન્ડ-રોબિન પર વિતરણ), endurance માટે acknowledgments ને ગોઠવવું, અને throughput માટે batching — તે Kafka માં ડેટા કેવી રીતે પ્રવેશ કરે છે તે બંધ કરે છે.

**કન્ઝ્યુમર્સ** સમજવું — તેમના **ઑફસેટ** (સ્થાન) ને ટ્રેક કરતા હુય ઇવેન્ટ્સ વાંચવું કે તેઓ ક્યાંથી છોડી ગયા તે રીતે પુનરાવર્તિત કરવા માટે, તેમના પોતાના ગતિમાં વાંચવું કારણ કે ઇવેન્ટ્સ જાળવવામાં આવે છે, કોઇપણ ઑફસેટ્સ **પુનઃ ચલાવવામાં** સક્ષમ હોવું, અને પ્રગતિ રેકર્ડ કરવા માટે ઑફસેટ્સ commit કરવું — તે Kafka ની વિશિષ્ટ પુનઃ ચલાવવાની ક્ષમતા સહિત ડેટા કેવી રીતે વાંચવામાં આવે છે તે બંધ કરે છે.

સૌથી મહત્વપૂર્ણ, **કન્ઝ્યુમર ગ્રુપ્સ** સમજવું Kafka ની સ્કેલિંગ મોડેલ માટે આવશ્યક છે: કન્ઝ્યુમર્સ એક સાથે કામ કરે છે જ્યાં **પ્રત્યેક પાર્ટીશન ગ્રુપમાં એક કન્ઝ્યુમર દ્વારા વપરાય છે** (સમાંતર પ્રક્રિયા સક્ષમ કરે છે, પાર્ટીશન ગણતરી સુધી કન્ઝ્યુમર્સ ઉમેરીને સ્કેલિંગ), આપોઆપ **રીબેલેન્સિંગ** સાથે જો કન્ઝ્યુમર નિષ્ફળ જાય (fault tolerance), જ્યારે **વિવિધ કન્ઝ્યુમર ગ્રુપ્સ વતનથી બધી ઇવેન્ટ્સ સ્વતંત્ર રીતે વાંચે છે** (pub/sub સક્ષમ કરે છે જ્યાં બહુવિધ ગ્રુપ્સ પ્રત્યેક સંપૂર્ણ સ્ટ્રીમ મેળવે છે).

યો કન્ઝ્યુમર-ગ્રુપ મોડેલ Kafka વપરાશ સ્કેલિંગ અને queue જેવા (ગ્રુપમાં) અને pub/sub (ગ્રુપ્સ પર) બંને પેટર્ને સમર્થન આપવા માટે મૂળભૂત છે.

ચૂંકી પ્રોડ્યુસર્સ અને કન્ઝ્યુમર્સ તે છે કે ડેટા Kafka માં અને બહાર વહે છે, અને તેમના કામોને સમજવું — partitioning, offsets, replay, અને ખાસ કરીને કન્ઝ્યુમર ગ્રુપ્સ (સ્કેલિંગ અને queue/pub-sub દ્વૈતતાની ચાવી) — Kafka નો ઉપયોગ કરવા માટે આવશ્યક છે, પ્રોડ્યુસર્સ અને કન્ઝ્યુમર્સ કેવી રીતે કામ કરે છે તે સમજવું આવશ્યક છે, મૂળભૂત Kafka જ્ઞાન — Kafka માં ડેટા ફ્લોમાં મૂળભૂત, કન્ઝ્યુમર ગ્રુપ્સ સાથે Kafka ની સ્કેલિંગ અને વપરાશ મોડેલ સમજવા માટે ખાસ મહત્વપૂર્ણ, અને Kafka નો ઉપયોગ કરનાર કોઇપણ માટે આવશ્યક.