Analyzer chuẩn bị văn bản cho tìm kiếm bằng cách chuyển thành token: đơn vị, thường là từ, có thể được so khớp về sau.
Nhìn từng bước biến đổi
Với pipeline chủ động cấu hình để bỏ HTML, tách từ và chuyển chữ thường:
text
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
- Character filter bỏ HTML trước khi tách.
