Kafka-யின் ஒட்டுமொத்த கட்டமைப்பு என்ன?

Question

Accepted Answer

Kafka-யின் கட்டமைப்பு **brokers-களின் (சேவகிகள்) கொத்து**டன் கூடியுள்ளது, அவை வகைப்படுத்தப்பட்ட, நகலெடுக்கப்பட்ட topics-களை சேமிக்கிறது. **Producers** எழுதுகிறது மற்றும் **consumers** படிக்கிறது, metadata நிர்வாகத்தால் ஒருங்கிணைக்கப்படுகிறது (வரலாற்று ரீதியாக ZooKeeper, இப்போது KRaft). Kafka-வின் கட்டமைப்பைப் புரிந்துகொள்வது Kafka-வை ஒரு விநியோக அமைப்பாக எவ்வாறு செயல்படுகிறது என்பதை தெளிவுபடுத்துகிறது.

## கூறுகள்

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## நீடித்தன்மை மற்றும் கிடைப்பதிற்கான நகலெடுப்பு

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## அவை எவ்வாறு ஒன்றாக செயல்படுகிறது

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## ஏன் இது முக்கியம்

Kafka-யின் ஒட்டுமொத்த கட்டமைப்பைப் புரிந்துகொள்வது மதிப்புமிக்கது ஏனெனில் இது **Kafka-வை ஒரு விநியோக அமைப்பாக எவ்வாறு செயல்படுகிறது என்பதை தெளிவுபடுத்துகிறது**, எனவே Kafka-உடன் செயல்படுவதற்கான அடிப்படை அறிவாகும்.

Kafka-ஒரு விநியோக அமைப்பு, மற்றும் அதன் கட்டமைப்பைப் புரிந்துகொள்வது அதன் scalability, durability மற்றும் availability-ஐ எவ்வாறு சாதிக்கிறது என்பதை விளக்குகிறது.

**கூறுகள்** புரிந்துகொள்வது — **brokers** (Kafka சேவகிகள் ஒரு கொத்தை உருவாக்குவது partition-களை சேமிக்கிறது மற்றும் clients-களை சேவை செய்கிறது, தரவு மற்றும் load-ஐ விநியோகிக்கிறது), brokers-க்கு முழுவதும் விநியோகிக்கப்பட்ட topics/partitions, producers எழுதுகிறது மற்றும் consumers படிக்கிறது, மற்றும் **coordination** (metadata மற்றும் cluster நிர்வாகம், வரலாற்று ரீதியாக ZooKeeper மூலமாக, இப்போது **KRaft** — Kafka-வின் சொந்த built-in consensus மூலம் அதிகரிப்பாக) — அமைப்பின் பகுதிகளை தெளிவுபடுத்துகிறது.

**நீடித்தன்மை மற்றும் கிடைப்பதிற்கான நகலெடுப்பு** புரிந்துகொள்வது குறிப்பாக முக்கியம்: partitions-கள் **brokers-க்கு முழுவதும் நகலெடுக்கப்படுகிறது** (ஒவ்வொன்றுடன் reads/writes-ஐ கையாளும் **leader** மற்றும் அதை நகலெடுக்கும் **followers**), எனவே leader தோல்வியடைந்தால் ஒரு follower அதன் இடத்தை எடுக்கிறது (availability), **replication factor** எவ்வளவு copies-கள் failures-லிருந்து தரவு இழப்பு இல்லாமல் உயிர்வாழுகிறது என்பதை தீர்மானிக்கிறது (durability), மற்றும் **in-sync replicas** durability guarantees-ஐ உறுதிசெய்கிறது.

இந்த நகலெடுப்பு பொறிமுறை Kafka-வை fault tolerance மற்றும் durability-ஐ சாதிக்கிறது — நம்பகத்தன்மைக்கு முக்கியமானது.

**இவை எவ்வாறு ஒன்றாக செயல்படுகிறது** புரிந்துகொள்வது (producers-கள் partition leaders-களுக்கு எழுதுகிறது, followers-களுக்கு நகலெடுக்கப்படுகிறது, consumers-கள் படிக்கிறது, அனைத்தும் ஒருங்கிணைக்கப்படுகிறது) Kafka-வின் முழு படத்தை விநியோகிக்கப்பட்ட, நகலெடுக்கப்பட்ட, scalable அமைப்பாக வழங்குகிறது.

இந்த স்থাபత்য புரிந்துகொள்வு Kafka-வு அதன் முக்கிய பண்புகளை (விநியோகிக்கப்பட்ட partitioned brokers-மூலம் scalability, replication-மூலம் durability மற்றும் availability) எவ்வாறு வழங்குகிறது என்பதை தெளிவுபடுத்துகிறது.

Kafka-ஒரு விநியோக அமைப்பு மற்றும் அதன் கட்டமைப்பைப் புரிந்துகொள்வது (brokers, leaders/followers-உடன் replication, coordination) அதன் scalability, durability மற்றும் availability-ஐ எவ்வாறு சாதிக்கிறது என்பதை தெளிவுபடுத்துகிறது, மற்றும் இது Kafka-உடன் செயல்படுவதற்கான அடிப்படை என்பதால், Kafka-யின் ஒட்டுமொத்த கட்டமைப்பைப் புரிந்துகொள்வது மதிப்புமிக்க, அடிப்படை அறிவு — Kafka-வை விநியோகிக்கப்பட்ட, நகலெடுக்கப்பட்ட அமைப்பாக (brokers, fault tolerance-க்கான replication, coordination) எவ்வாறு செயல்படுகிறது என்பதை தெளிவுபடுத்துகிறது, அதன் முக்கிய பண்புகளை விளக்குகிறது, மற்றும் Kafka-ஐ புரிந்துகொள்வதற்கும் இயக்குவதற்கும் அடிப்படை.