Tokenization là gì? Tại sao tokenization quan trọng trong NLP?

✂️ Tokenization là gì?

Tokenization (tách từ) là quá trình chia nhỏ văn bản thành các đơn vị nhỏ hơn gọi là tokens.
Token có thể là:

• 🟦 Từ (word-level)

• 🟨 Câu (sentence-level)

• 🟥 Ký tự (character-level)

• hoặc thậm chí là subword (trong deep learning)

🔍 Ví dụ đơn giản:

"This is NLP."

➡️ Sau khi tokenization:

['This', 'is', 'NLP', '.']

✅ Tại sao tokenization quan trọng trong NLP?

🧠 Các kiểu tokenization

🐍 Tokenization trong Python

✅ 1. Dùng nltk

import nltk
from nltk.tokenize import word_tokenize, sent_tokenize

nltk.download("punkt")

text = "I love natural language processing. It's amazing!"

# Tách từ
words = word_tokenize(text)

# Tách câu
sentences = sent_tokenize(text)

print(words)      # ['I', 'love', 'natural', 'language', 'processing', '.', 'It', "'s", 'amazing', '!']
print(sentences)  # ['I love natural language processing.', "It's amazing!"]

✅ 2. Dùng spaCy

import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("NLP is fun and exciting!")

tokens = [token.text for token in doc]
print(tokens)
# ['NLP', 'is', 'fun', 'and', 'exciting', '!']

✅ 3. Dùng mô hình transformers (subword)

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
tokens = tokenizer.tokenize("Tokenization is awesome!")
print(tokens)
# ['token', '##ization', 'is', 'awesome', '!']

##ization nghĩa là phần tiếp theo của từ token — mô hình tách thành các subword.

📘 Tổng kết

🎯 Mục tiêu khi phân tích log máy chủ ảo hóa là gì?

Một số mục tiêu phổ biến:

🧩 Tokenization trong log ảo hóa dùng để làm gì?

• Tách message log thành từ hoặc cụm từ

• Chuẩn bị cho bước vector hóa (TF-IDF, BERT,...)

• Phân tích tần suất từ (để tìm lỗi phổ biến)

• Gom nhóm các log tương tự

🧪 Ví dụ cụ thể với log vCenter / ESXi

📄 Dòng log giả định:

[2025-11-26 10:00:12] ERROR VM vm-101 crashed due to memory overload on host-22

✅ 1. Tách timestamp, mức lỗi, message

import re

log = "[2025-11-26 10:00:12] ERROR VM vm-101 crashed due to memory overload on host-22"

timestamp = re.search(r"\[(.*?)\]", log).group(1)
level = re.search(r"\b(INFO|ERROR|WARN|DEBUG)\b", log).group(1)
message = re.split(r"\b(INFO|ERROR|WARN|DEBUG)\b", log)[-1].strip()

print("🕒", timestamp)
print("⚠️", level)
print("📩", message)

✅ 2. Tokenization message log (NLTK)

import nltk
from nltk.tokenize import word_tokenize

nltk.download('punkt')
tokens = word_tokenize(message)
print(tokens)
# ['VM', 'vm-101', 'crashed', 'due', 'to', 'memory', 'overload', 'on', 'host-22']

✅ 3. Làm sạch & chuẩn hóa tokens (remove stop words, lowercase)

from nltk.corpus import stopwords
nltk.download('stopwords')

stop_words = set(stopwords.words('english'))
clean_tokens = [t.lower() for t in tokens if t.lower() not in stop_words]
print(clean_tokens)
# ['vm', 'vm-101', 'crashed', 'memory', 'overload', 'host-22']

🔧 4. Dùng các token để phân tích tiếp

📦 Tổng kết pipeline phân tích log ảo hóa với NLP:

[Thu thập log .log] 
       ↓
[Tách dòng: timestamp, level, message]
       ↓
[Tokenization message]
       ↓
[Lowercase, remove stop words]
       ↓
[Vector hóa → ML: classification / clustering / anomaly detection]
       ↓
[Trình bày bằng dashboard hoặc báo cáo]

 Phân tích log từ VMware vSphere — một hệ thống ảo hóa phổ biến trong doanh nghiệp. Đây là ứng dụng rất thực tế của NLP trong ngành DevOps / vận hành hệ thống.

🎯 Mục tiêu đề xuất cho bạn:

Xây dựng một hệ thống phân tích log vSphere bằng NLP để:

• ✅ Trích xuất thông tin quan trọng từ log

• ✅ Phân loại lỗi / cảnh báo (INFO, WARNING, ERROR)

• ✅ Tách từ (tokenization) và tiền xử lý văn bản log

• ✅ (Tuỳ chọn) Phát hiện log bất thường hoặc tạo dashboard thống kê

📁 1. Nguồn log vSphere – Lấy ở đâu?

✅ Truy cập log thông qua Web UI:

• Vào vCenter Web Client

• Chọn:
  Menu → Administration → System Logs → Export System Logs

• Chọn máy chủ hoặc máy ảo → tải .tar.gz

✅ Các log thường dùng:

🧹 2. Tiền xử lý log vSphere

Giả sử bạn đã giải nén và có file vpxd.log, nội dung ví dụ như:

2025-11-26T08:22:13.123Z info vpxd[04326] [Originator@6876 sub=Main] Host host-101 disconnected from vCenter.
2025-11-26T08:22:17.456Z error vpxd[04326] [Originator@6876 sub=Vmomi] VM vm-210 crashed due to disk error.

✅ Xử lý bằng Python + Regex:

import re
import pandas as pd

log_file = "vpxd.log"
entries = []

with open(log_file, 'r', encoding='utf-8') as f:
    for line in f:
        match = re.match(r"(\d{4}-\d{2}-\d{2}T.*?Z)\s+(info|warn|error)\s+(.*)", line, re.IGNORECASE)
        if match:
            timestamp, level, message = match.groups()
            entries.append((timestamp, level.upper(), message.strip()))

df = pd.DataFrame(entries, columns=["timestamp", "level", "message"])

✂️ 3. Tokenization thông điệp log (NLP)

import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords

nltk.download('punkt')
nltk.download('stopwords')

stop_words = set(stopwords.words('english'))

# Token hóa và loại bỏ stop words
df["tokens"] = df["message"].apply(lambda msg: [
    w.lower() for w in word_tokenize(msg) if w.lower() not in stop_words and w.isalpha()
])

📈 4. Phân tích dữ liệu

✅ Thống kê nhanh:

print(df["level"].value_counts())

✅ Tìm từ xuất hiện nhiều nhất:

from collections import Counter

all_tokens = [token for tokens in df["tokens"] for token in tokens]
common_words = Counter(all_tokens).most_common(10)
print(common_words)

🧠 5. (Tuỳ chọn) Phát hiện log bất thường

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.ensemble import IsolationForest

vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(df["message"])

model = IsolationForest(contamination=0.05)
df["anomaly"] = model.fit_predict(X)  # -1 là bất thường

📊 6. (Tuỳ chọn) Tạo dashboard với Streamlit

pip install streamlit

# log_dashboard.py
import streamlit as st
st.title("📊 Phân tích log vSphere")

st.write(df[["timestamp", "level", "message", "anomaly"]])

Chạy:

streamlit run log_dashboard.py

✅ Tổng kết pipeline đề xuất cho bạn

📁 Thu thập log vSphere (.log)
   ↓
🧹 Làm sạch & chuẩn hóa dòng log
   ↓
✂️ Tokenization (tách từ)
   ↓
🧠 Vector hóa + ML: phân loại / phát hiện bất thường
   ↓
📊 Trình bày bằng bảng, biểu đồ hoặc dashboard