Kafka આંતરિક રીતે કેવી રીતે કામ કરે છે (લોગ સ્ટોરેજ, ZooKeeper/KRaft)?

Question

Accepted Answer

આંતરિક રીતે, Kafka ડેટાને ડિસ્ક પર **append-only log** તરીકે સંગ્રહિત કરે છે (સેગમેન્ટમાં સંગઠિત), કાર્યક્ષમ I/O તકનીકો વાપરે છે, અને ક્લસ્ટર મેટાડેટાને **ZooKeeper** (ઐતિહાસિક રીતે) અથવા **KRaft** (હવે) દ્વારા સંચાલિત કરે છે. આંતરિક રીતે કેવી રીતે કામ કરે છે તે સમજવું Kafka ના વર્તન અને પ્રદર્શનની સમજને ઊંડી બનાવે છે.

## commit log સ્ટોરેજ

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## કાર્યક્ષમતા તકનીકો

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## ક્લસ્ટર સમન્વય: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## તે શા માટે મહત્વપૂર્ણ છે

Kafka આંતરિક રીતે કેવી રીતે કામ કરે છે તે સમજવું મૂલ્યવાન સીનિયર-સ્તરનું જ્ઞાન છે કારણ કે તે **Kafka ના વર્તન અને પ્રદર્શનની સમજને ઊંડી બનાવે છે**, જે અત્યાધુનિક જ્ઞાનને પ્રતિબિંબિત કરે છે.

Kafka ના આંતરિક ભાગોને સમજવું સમજાવે છે કે તે શા માટે વર્તન કરે છે અને આવું પ્રદર્શન આપે છે.

**commit log સ્ટોરેજ** સમજવું — પ્રત્યેક પાર્ટીશન ડિસ્ક પર append-only log છે જે સેગમેન્ટમાં વિભાજિત છે, ઇવેન્ટ ક્રમિક રીતે ઉમેરવામાં આવે છે (ઝડપી લખાણ), offset દ્વારા ઓળખાય છે, એક વાર લખવામાં આવ્યા પછી અપરિવર্તનીય છે, અને જૂના સેગમેન્ટ કાઢી નાખવામાં આવે છે અથવા કમ્પ્રેસ કરવામાં આવે છે, ઝડપી offset લુકઅપ્સ માટે ઇન્ડેક્સ સાથે — Kafka ની મૂળ સ્ટોરેજ ડિઝાઇનને સમજાવે છે (append-only log તેની સ્થાયિત્વ અને કાર્યક્ષમતાના મૂળમાં હોવું).

**કાર્યક્ષમતા તકનીકો** સમજવું — **ક્રમિક I/O** (ઉમેરવું ઝડપી ક્રમિક ડિસ્ક ઍક્સેસ છે), **zero-copy** (ડેટા ડિસ્કથી નેટવર્કમાં હસ્તાંતરિત કરવું એપ્લિકેશનમાં કૉપી કર્યા વિના, કાર્યક્ષમ વાંચન માટે), **OS page cache** (તાજા ડેટાની ઝડપી વાંચન માટે OS કેશ પર આધાર રાખવો), અને batching/compression — સમજાવે છે કે *Kafka શા માટે ડિસ્ક ઉપયોગ કરવા છતાં આટલો ઝડપી છે*, મુખ્ય અંતર્દૃષ્ટિ (Kafka આ ડિઝાઇન પસંદગીઓ દ્વારા ઉચ્ચ કામગીરી હાંસલ કરે છે, ડિસ્ક ટાળીને નહીં).

**ક્લસ્ટર સમન્વય** સમજવું — કે Kafka મેટાડેટા, broker સભ્યપદ, અને leader election ને **ZooKeeper** દ્વારા ઐતિહાસિક રીતે અથવા **KRaft** હવે (Kafka ની પોતાની બિલ્ટ-ઇન Raft સર્વસંમતિ જે સરળ કામગીરી અને વધુ સ્કેલેબિલિટી માટે ZooKeeper નિર્ભરતા દૂર કરે છે, આધુનિક અભિગમ) દ્વારા સંચાલિત કરે છે — Kafka માં મહત્વપૂર્ણ આર્કિટેક્ચરલ ઉત્ક્રાંતિના સજાગતાને પ્રતિબિંબિત કરે છે (KRaft ને સ્થાનાંતર, લાંબા સમયથી ZooKeeper નિર્ભરતા દૂર કરવું).

તે આંતરિક સમજ (લોગ સ્ટોરેજ, કાર્યક્ષમતા તકનીકો, સમન્વય ઉત્ક્રાંતિ) Kafka ની કામગીરી, સ્થાયિત્વ, અને કામગીરીની સમજને ઊંડી બનાવે છે, જે તેમને અલગ કરે છે જેઓ Kafka ને ઊંડાણપૂર્વક સમજે છે.

Kafka ના આંતરિક ભાગોને સમજવું (append-only log સ્ટોરેજ, કાર્યક્ષમતા તકનીકો જેમ કે ક્રમિક I/O અને zero-copy જે તેને ઝડપી બનાવે છે, અને ZooKeeper-to-KRaft સમન્વય ઉત્ક્રાંતિ) તેના વર્તન, કામગીરી, અને કામગીરીની સમજને ઊંધીબનાવે છે, અને કારણ કે તે અત્યાધુનિક Kafka જ્ઞાનને પ્રતિબિંબિત કરે છે, Kafka આંતરિક રીતે કેવી રીતે કામ કરે છે તે સમજવું મૂલ્યવાન સીનિયર-સ્તરનું જ્ઞાન છે — Kafka ની કામગીરીની સમજને ઊંડી બનાવવું (તે શા માટે ઝડપી છે ડિસ્ક ઉપયોગ કરવા છતાં), સ્થાયિત્વ (લોગ), અને કામગીરી (KRaft), Kafka ની ગહન સમજને પ્રતિબિંબિત કરે છે જે ઊંધુ Kafka વિશેષજ્ઞતાને અલગ કરે છે, અને Kafka ના વર્તન અને આધુનિક KRaft આર્કિટેક્ચર વિશે તર્ક કરવા માટે ઉપયોગી છે.