يجهّز analyzer النص للبحث بتحويله إلى tokens: وحدات، غالبًا كلمات، يمكن مطابقتها لاحقًا.
راقب كل تحويل
لمسار مُعد عمدًا لإزالة HTML وفصل الكلمات وتحويلها إلى أحرف صغيرة:
text
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
- يزيل character filter وسم HTML قبل التقسيم.
- يقسّم tokenizer النص إلى كلمات.
- يحوّل token filter تلك الكلمات إلى أحرف صغيرة.
تفسّر tokens النهائية لماذا يمكن لـ بالأحرف الصغيرة مطابقة الإدخال الأصلي. هذا مثال مخصص؛ ليس كل analyzer يزيل HTML.
