كيف تخزّن 100 مليون حدث سجلّ (log event) يومياً؟

Question

IT Interview Practice · Accepted Answer

ابنِ **خطّ أنابيب إلحاق فقط (append-only): وكلاء ← Kafka ← تخزين متعدّد الطبقات (hot في ClickHouse/ELK، cold في تخزين الكائنات)** مع سياسة احتفاظ (retention) تُفهرِس البيانات الحديثة وتؤرشف البقية بثمن زهيد. 100 مليون حدث/يوم هي نحو 1,200/ثانية في المتوسّط (ذرى أعلى بكثير) وعشرات إلى مئات الغيغابايت يومياً — تُحسّن للكتابات الرخيصة وتكلفة الاستعلام المحدودة، لا لدلالات OLTP.

```text
App/agents ─▶ Kafka ─▶ Consumers ─┬─▶ ClickHouse / ELK   (hot: last 7–30d, indexed, fast search)
 (Fluent Bit)  (buffer,            │
                replay)            └─▶ S3/Parquet         (cold: 90d–years, cheap, scan-on-demand)
                                          │
                                   Lifecycle/tiering ─▶ Glacier (archive) ─▶ delete at retention
```

## خطّ أنابيب الإلحاق

السجلات تُكتب مرّة واحدة ولا تُحدَّث أبداً — فمسار الاستيعاب هو **إلحاق**. وكلاء مثل **Fluent Bit / Vector** يشحنون الأسطر إلى **Kafka**، الذي يخزّن الاندفاعات مؤقتاً ويفصل المنتجين عن التخزين. إن كان ClickHouse معطّلاً للصيانة، تصطفّ الأحداث في Kafka وتُعاد — فلا تُسقِط سجلات. اكتب على دفعات (آلاف الصفوف لكل إدراج) لأن الإدراجات صفّاً بصفّ تدمّر الـ throughput على المخازن العمودية.

## المخزن الساخن (Hot): افهرِس للبحث

السجلات الحديثة تحتاج بحثاً سريعاً ("الأخطاء في الساعة الأخيرة للخدمة X"). **ClickHouse** (عمودي، يضغط 10x، يمسح مليارات الصفوف/ثانية) أو **حزمة ELK** (فهرس Elasticsearch المقلوب) تخدم هذا. جزّئ حسب اليوم/الخدمة كي تُقلّم الاستعلامات إلى بضعة أجزاء. هذه الطبقة مكلفة لكل غيغابايت، فأبقِها صغيرة — آخر 7 إلى 30 يوماً فقط.

## المخزن البارد (Cold): تخزين الكائنات + التدرّج

السجلات الأقدم تنتقل إلى **S3 بصيغة Parquet** — رخيصة، معمّرة، قابلة للاستعلام عند الطلب عبر Athena/Trino. **سياسة دورة حياة (lifecycle policy)** تنقل S3 ← Glacier ← الحذف عند حدّ احتفاظك (مثلاً سنة واحدة). هذا *التدرّج (tiering)* هو رافعة التكلفة الأساسية: قد يكون التخزين الساخن 50 ضعف سعر الأرشفة.

## منظور المقابلة

يتحرّى المُحاورون **مقايضة الفهرسة مقابل التكلفة**: فهرسة كل شيء تعطي بحثاً ممتازاً لكنها تفجّر الميزانية؛ وعدم فهرسة أي شيء رخيص لكنه غير قابل للاستعلام. الجيد: "استخدم ELK." الرائع: تتدرّج — تُفهرِس الشريحة الساخنة الحديثة وتؤرشف البقية باردة — وتسمّي Kafka كمخزن مؤقت يجعل الاستيعاب مقاوماً لانقطاعات المكوّنات اللاحقة.

**فخّ شائع:** وضع كل السجلات في Elasticsearch إلى الأبد. إنه الخيار الأغلى وعنقوده ينهار على تنوّع/احتفاظ لم تخطّط له.

## المقايضات وأنماط الأعطال

- **الاحتفاظ مقابل التكلفة:** احتفاظ أطول = نمو تخزين خطّي؛ تدرّج بقوّة.
- **الضغط العكسي في Kafka:** إن تأخّر المستهلكون، يمتلئ القرص — قدّر الاحتفاظ وراقب التأخّر.
- **انفجار التنوّع (Cardinality explosion):** الحقول عالية التنوّع (user_id) تنفخ فهارس ES؛ خُذ عيّنة منها أو أسقِطها.
- **تكلفة الاستعلام على البيانات الباردة:** مسوحات Athena تكلّف لكل تيرابايت — جزّئ Parquet حسب التاريخ/الخدمة كي تبقى المسوحات محدودة.
- **تكرارات At-least-once:** أزِل التكرار على معرّف حدث إن كانت الأعداد الدقيقة مهمّة.

خطّ أنابيب الإلحاق

المخزن الساخن (Hot): افهرِس للبحث

المخزن البارد (Cold): تخزين الكائنات + التدرّج

منظور المقابلة

المقايضات وأنماط الأعطال

أسئلة ذات صلة