Kafka-ன் மூல கருத்துக்கள் யாவை (topics, partitions, brokers)?

Question

Accepted Answer

Kafka-ன் மூல கருத்துக்களில் **topics** (நிகழ்வுகளின் வகைகள்), **partitions** (topics க்குள் parallelism-ன் அலகுகள்), **brokers** (சேவையகங்கள்), **producers** (எழுத), மற்றும் **consumers** (படிக்க) ஆகியவை அடங்கும். இவற்றைப் புரிந்துகொள்வது Kafka-உடன் பணிபுரிவதற்கு அடிப்படையாகும்.

## மூல கருத்துக்கள்

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions மற்றும் offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## இது எவ்வாறு ஒன்றாக வருகிறது

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## இது ஏன் முக்கியமானது

Kafka-ன் மூல கருத்துக்களைப் புரிந்துகொள்வது அடிப்படையாகும், ஏனெனில் **topics, partitions, brokers, producers, மற்றும் consumers ஆகியவை Kafka-ன் கட்டமைப்பின் அடிப்படை கட்டங்களாகும்**, எனவே அவற்றைக் கையாளுவது எந்த Kafka பணிக்கும் அপরிহார்யமாகும்.

இந்த கருத்துக்கள் Kafka எவ்வாறு செயல்படுகிறது என்பதின் ভিত்தியாக உள்ளன.

**topics** (producers எழுதும் மற்றும் consumers படிக்கும் நிகழ்வுகளின் பெயரிடப்பட்ட வகைகள்/ஸ்ட்ரீம்கள்) ஐ புரிந்துகொள்வது அடிப்படை ஒழுங்கமைக்கும் கருத்தாகும்.

**partitions** ஐ புரிந்துகொள்வது குறிப்பாக முக்கியமாகும்: topics partitions (வரிசைப்படுத்தப்பட்ட, append-only பதிவுகள்) ஆக பிரிக்கப்பட்டுள்ளன, அவை **parallelism மற்றும் scaling-ன் அலகு**ஆகும், **ஒரு partition க்குள் வரிசை உத்தரவாதமளிக்கப்பட்டாலும் partitions முழுவதும் அல்ல** — இது Kafka எவ்வாறு அளவிடுகிறது மற்றும் நிகழ்வுகளை வரிசைப்படுத்துகிறது என்பதை பாதிக்கும் முக்கியமான கருத்து.

**brokers** (Kafka சேவையகங்கள், கொத்தாக இணைந்து), **producers** (நிகழ்வுகளை எழுதுவது), மற்றும் **consumers** (நிகழ்வுகளை படிப்பது) ஆகியவை அடிப்படை கட்டமைப்பை நிறைவுசெய்கிறது.

**partitions மற்றும் offsets** ஐ புரிந்துகொள்வது — ஒவ்வொரு partition ஒரு வரிசைப்படுத்தப்பட்ட மாறாத ক்रमவைஃஃ பொங்களாகும் அங்கு நிகழ்வுகளுக்கு **offsets** (நிலைகள்) உள்ளன, consumers தங்கள் offset கண்ணோட்டத்தை தொடர்ந்து மீண்டும் தொடங்கவும் மறுவாசிப்பு செய்யவும் கொண்டுவருகிறது, நிகழ்வுகள் ஆக்கிரமிக்கப்பட்டதாக இருக்கிறது எனவே consumers தங்கள் சொந்த கதியில் படிக்கிறது, மற்றும் **partition key** ஒரு நிகழ்வு எந்த partition க்கு செல்கிறது என்பதை நிர்ణயிக்கிறது (அதே key → அதே partition → அந்த key க்கான வரிசைப்பாடு) — Kafka-ன் தரவு மாதிரி மற்றும் வரிசைப்பாட உத்தரவாதங்களைப் புரிந்துகொள்ள அপரிहार्யமாகும்.

**இது எவ்வாறு ஒன்றாக வருகிறது** என்பதைப் புரிந்துகொள்வது (producers ஆபாद brokers பதிப்புசெய்யப்பட்ட topics/partitions களுக்கு எழுதுவது, consumers offsets கண்ணோட்டத்தை செய்த நிலையில் படிப்பது) முழுமையான படத்தை வழங்குகிறது.

இந்த கருத்துக்கள் Kafka-ன் சொற்களாகவும் வழிமுறையாகவும் உள்ளன மற்றவெல்லாம் இதனுえ கட்டியெழுப்பப்படுகிறது.

Topics, partitions, brokers, producers, consumers, மற்றும் offsets ஆகியவை Kafka-ன் அடிப்படை கட்டமைப்பின் கட்டங்களாக இருப்பதாகவும் (partitions மற்றும் வரிசைப்பாடு குறிப்பாக முக்கியமான கருத்துக்கள் இருப்பதாகவும்), மற்றும் அவற்றைப் புரிந்துகொள்வது எந்த Kafka பணிக்கும் அপரिहार्यமாக இருப்பதாகவும், Kafka-ன் மூல கருத்துக்களைப் புரிந்துகொள்வது அபরिहार्யமாகவும், அடிப்படைத்தாக கருத்தாகவும் உள்ளது — Kafka-விடன் பணிபுரிய தேவையான Kafka-ன் அடிப்படை கட்டமைப்பாகவும், Kafka எவ்வாறு ஒழுங்கமைக்கிறது, அளவிடுகிறது, வரிசைப்படுத்துகிறது, மற்றும் நிகழ்வுகளைச் சேமிக்கிறது என்பதைப் புரிந்துகொள்ள மையமாகவும், மற்றும் அனைத்து Kafka தலைப்புகளுக்குமான ভிত்தியாகவும் உள்ளது.