data/qwen__1000__20000/README.md

```sh

head -n 3 tokens_kept__alphabet_long.jsonl

#  token                                         token_id  count

[  " opportunities"                               , 10488, 89723]

[  " technologies"                                , 14310, 47144]

[  " Pennsylvania"                                , 19771, 42463]

```

```sh

## Sau khi cắt tỉa bằng máy và lọc sơ bằng tay

wc -l tokens_kept__*



    214 tokens_kept__alphabet_long.jsonl

  32569 tokens_kept__alphabet_short.jsonl

      0 tokens_kept__ascii_long.jsonl

  18297 tokens_kept__ascii_short.jsonl

  35092 tokens_kept__english.jsonl

   2536 tokens_kept__others.jsonl

  88708 total

```

Nhờ việc loại bỏ những tokens không thuộc hệ ngôn ngữ tiếng Anh + Việt (latin based), và loại bỏ những tokens có count thấp,
giảm được số lượng vocab của qwen từ 151k xuống ~80k (gần 1/2).

Việc phân loại các tokens vào từng mục như alphabet vs ascii vs other, long vs short giúp người xem cảm nhận tổng thể bộ vocab tốt hơn. Và có thể cắt tỉa thêm nếu muốn.