صمّم خط أنابيب لتتبّع الأحداث عالي الحجم للتقارير و ML — أي stack؟

Question

IT Interview Practice · Accepted Answer

عند مئات الملايين من الأحداث يوميًا (~بضعة آلاف في الثانية، أعلى في الذروات) فإن الحركة الرابحة هي فصل الاستيعاب (ingestion) عن الخدمة (serving): استوعب الكتابات في سجل دائم (durable log)، وعالج التدفق مرة واحدة، ثم وزّعه إلى مخزَنين مضبوطين لمهمتين متعاكستين — مجمّع مسبقًا لأولياء الأمور (قراءات سريعة)، وخام كامل الدقة لـ ML.

غرفة بريد — يستقبل المُجمِّع (collector) البريد، و Kafka هي الحزام الناقل، وكل عنصر يُنسخ على رفّين: يلقي عليها أولياء الأمور نظرة، و ينقّب فيه فريق ML.

**النموذج الذهني:** غرفة بريد — يستقبل المُجمِّع (collector) البريد، و Kafka هي الحزام الناقل، وكل عنصر يُنسخ على رفّين: *لوحة ملخّص* يلقي عليها أولياء الأمور نظرة، و*أرشيف كامل* ينقّب فيه فريق ML.

## مسار الكتابة (الاستيعاب)

```text
Client ─(batch)─▶ Collector ─▶ Kafka ─▶ Stream proc ─┬─▶ OLAP rollup  (daily summaries)
 (learning app)    (HTTP)     (buffer,   (read once)  └─▶ S3 / Parquet (raw events)
                              replay)
```

- **المُجمِّع (Collector)** يستقبل الأحداث **على دفعات (batched)** عبر HTTP — التجميع على العميل يحوّل مئات الملايين من الكتابات الصغيرة إلى طلبات أقل بكثير.
- **Kafka** هي الـ buffer الدائم: تستوعب القفزات، وتفصل المنتِجين عن المستهلِكين، وتتيح لك **replay** التاريخ عندما يضيف ML ميزة أو تُدخل rollup جديدًا.
- **معالج التدفق (Stream processor)** يقرأ Kafka مرة واحدة ويكتب إلى كلا المصبّين — يُلحق الخام إلى البحيرة (lake)، ويُدرِج/يُحدّث (upsert) عمليات rollup للتقارير.

```js
// مستهلك واحد يقرأ Kafka مرة واحدة ويكتب إلى كلا المصبّين
for await (const batch of kafka.consume('events')) {
  await lake.appendParquet(batch);                      // خام -> S3/Parquet (ML)
  for (const e of batch)
    rollup.add({ childId: e.childId, day: dayOf(e.ts) },// تجميع -> OLAP (تقارير)
               { lessons: 1, studiedMs: e.studiedMs ?? 0 });
  await rollup.flush();
}
```

## مسار القراءة (الخدمة)

```text
Parent app ─▶ API ─▶ OLAP rollup                 (pre-aggregated: report = O(1), no scan)
ML / Data  ─▶ Spark / warehouse ─▶ S3 / Parquet  (raw, flexible, ad-hoc)
```

يصل أولياء الأمور إلى **ملخّصات مجمّعة مسبقًا**، فالتقرير هو بحث بمفتاح، وليس مسحًا (scan) على مليارات الصفوف. يستعلم ML من **البحيرة الخام (raw lake)**، محتفظًا بكل حقل من أجل هندسة الميزات (feature engineering).

## الـ Stack ولماذا
- **Kafka** — buffer، فصل، replay.
- **ClickHouse / جداول الملخّص اليومية** — مُحسَّنة للقراءة للوحات معلومات أولياء الأمور.
- **S3 + Parquet** — تخزين خام رخيص وعمودي ومرن لـ ML.
- **Schema registry** — يفرض عقد الحدث حتى لا يكسر المنتِجون المستهلِكين بصمت.

## منظور المقابلة
يستكشف المُحاوِر ما إذا كنت تفصل **الاستيعاب المُحسَّن للكتابة عن الخدمة المُحسَّنة للقراءة**، وتتجنب مسح الأحداث الخام لكل تقرير لولي أمر، وتحتفظ بالبيانات الخام لـ ML. **ضعيف:** "ضع كل شيء في Postgres واستعلم منه." **قوي:** buffer دائم + مساري خدمة + replay + عقد schema، مع إحساس بالمقياس.

## المقايضات
التجميع المسبق يعطي قراءات فورية لكنه يثبّت الأبعاد مسبقًا؛ البحيرة الخام مرنة لكنها بطيئة. احتفظ بـ **كليهما** — الفصل الكلاسيكي: اكتب مرة واحدة، اقرأ مرات كثيرة.

مسار الكتابة (الاستيعاب)

مسار القراءة (الخدمة)

الـ Stack ولماذا

منظور المقابلة

المقايضات

أسئلة ذات صلة