Phân loại tin tức (News Classification) là một bài toán phổ biến trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Mục tiêu là xây dựng một mô hình có khả năng tự động phân loại bài viết vào các chủ đề như thể thao, chính trị, công nghệ, kinh doanh,…
Đây là đề tài phù hợp cho sinh viên làm đồ án AI hoặc người mới học AI, bởi vì nó dễ tiếp cận, có nhiều dữ liệu mẫu, và giúp làm quen với pipeline NLP đầy đủ: từ xử lý văn bản, vector hóa, đến huấn luyện mô hình và đánh giá kết quả.
Cài đặt thư viện cần thiết
Trước khi chạy các file Python trong dự án, bạn cần cài đặt đầy đủ các thư viện hỗ trợ:
pip install scikit-learn pandas matplotlib seaborn joblib
Nếu bạn làm đồ án trong môi trường ảo (venv), hãy kích hoạt môi trường trước khi chạy lệnh cài đặt.
Ngoài ra, nếu bạn sử dụng Jupyter Notebook hoặc Google Colab, bạn có thể chèn dòng sau ngay trong cell đầu tiên để đảm bảo thư viện được cài đúng:
!pip install scikit-learn pandas matplotlib seaborn joblib
Sau khi cài xong, bạn có thể chạy các file .py như train.py, predict.py, evaluate.py mà không bị lỗi thiếu thư viện.
Tải và chuẩn bị dữ liệu
Scikit-learn hỗ trợ sẵn bộ dữ liệu 20 Newsgroups, bạn không cần tải thủ công. Đây là bộ dữ liệu gồm hơn 18.000 bài viết thuộc 20 chủ đề tin tức khác nhau như sci.space, rec.sport.baseball, talk.politics.guns,…
Dưới đây là cách tải và xử lý dữ liệu.
File: load_data.py
from sklearn.datasets import fetch_20newsgroups
# Tải dữ liệu huấn luyện và kiểm tra
categories = ['sci.space', 'rec.sport.baseball', 'talk.politics.guns', 'comp.graphics']
newsgroups_train = fetch_20newsgroups(subset='train', categories=categories, remove=('headers', 'footers', 'quotes'))
newsgroups_test = fetch_20newsgroups(subset='test', categories=categories, remove=('headers', 'footers', 'quotes'))
print(f"Số lượng văn bản huấn luyện: {len(newsgroups_train.data)}")
print(f"Số lượng văn bản kiểm tra: {len(newsgroups_test.data)}")
Ở đây ta chỉ chọn 4 chủ đề để đơn giản hoá việc huấn luyện. Bạn có thể mở rộng ra 20 chủ đề nếu muốn.
Tiền xử lý văn bản và vector hóa
Dữ liệu text cần được biến đổi thành vector số để mô hình hiểu được. Ta sử dụng TfidfVectorizer để chuyển đổi văn bản thành vector trọng số TF-IDF.
File: preprocess.py
from sklearn.feature_extraction.text import TfidfVectorizer # Tạo vectorizer và biến đổi dữ liệu vectorizer = TfidfVectorizer(stop_words='english', max_df=0.5) X_train = vectorizer.fit_transform(newsgroups_train.data) X_test = vectorizer.transform(newsgroups_test.data) y_train = newsgroups_train.target y_test = newsgroups_test.target
Giải thích:
-
stop_words='english': loại bỏ các từ phổ biến (the, is, and…) -
max_df=0.5: bỏ qua các từ xuất hiện trong hơn 50% văn bản (không mang tính phân biệt)
Xây dựng và huấn luyện mô hình phân loại
Chúng ta sẽ sử dụng mô hình Multinomial Naive Bayes – một thuật toán đơn giản, rất hiệu quả với dữ liệu văn bản phân loại.
File: train.py
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score
import joblib
# Huấn luyện mô hình
clf = MultinomialNB()
clf.fit(X_train, y_train)
# Dự đoán trên tập kiểm tra
y_pred = clf.predict(X_test)
# Đánh giá
acc = accuracy_score(y_test, y_pred)
print(f"Accuracy: {acc*100:.2f}%")
# Lưu mô hình và vectorizer
joblib.dump(clf, 'news_classifier.pkl')
joblib.dump(vectorizer, 'vectorizer.pkl')
Nếu bạn chạy đúng, mô hình sẽ đạt độ chính xác khoảng 85–90% tùy vào số chủ đề bạn chọn.
Dự đoán tin tức mới
Bạn có thể sử dụng mô hình vừa lưu để phân loại một đoạn văn bản mới bất kỳ.
File: predict.py
import joblib
# Tải mô hình và vectorizer
clf = joblib.load('news_classifier.pkl')
vectorizer = joblib.load('vectorizer.pkl')
# Tin tức mới cần phân loại
new_text = ["NASA vừa công bố hình ảnh mới từ kính viễn vọng không gian."]
# Vector hóa văn bản
X_new = vectorizer.transform(new_text)
# Dự đoán
pred = clf.predict(X_new)
target_names = ['comp.graphics', 'rec.sport.baseball', 'sci.space', 'talk.politics.guns']
print(f"Tin tức được phân loại vào chủ đề: {target_names[pred[0]]}")
Bạn có thể viết hàm nhập văn bản từ giao diện hoặc file để mở rộng mô hình thành ứng dụng thực tế.
Hiển thị thống kê kết quả
Ngoài độ chính xác, bạn nên hiển thị ma trận nhầm lẫn và báo cáo phân loại để hiểu mô hình đang hoạt động tốt ở lớp nào.
Để chạy đoạn code này, bạn cần cài thêm seaborn nếu chưa có:
File: evaluate.py
from sklearn.metrics import classification_report, confusion_matrix
import matplotlib.pyplot as plt
import seaborn as sns
# Tính toán
print(classification_report(y_test, y_pred, target_names=newsgroups_test.target_names))
# Ma trận nhầm lẫn
cm = confusion_matrix(y_test, y_pred)
# Vẽ bằng seaborn
plt.figure(figsize=(8, 6))
sns.heatmap(cm, annot=True, fmt='d', xticklabels=newsgroups_test.target_names, yticklabels=newsgroups_test.target_names)
plt.ylabel('Thực tế')
plt.xlabel('Dự đoán')
plt.title('Ma trận nhầm lẫn mô hình phân loại tin tức')
plt.tight_layout()
plt.show()
Triển khai ứng dụng phân loại tin tức
Bạn có thể tích hợp mô hình này vào các ứng dụng sau:
-
Form nhập văn bản (Flask, Streamlit)
-
API RESTful để nhận bài báo và trả về nhãn chủ đề
-
Web app phân loại hàng loạt tin tức từ RSS, email, file txt…
Việc đóng gói mô hình bằng joblib giúp dễ dàng triển khai mà không cần huấn luyện lại mỗi lần.
Kết luận
Bài toán phân loại tin tức là bước khởi đầu tuyệt vời để thực hành các kỹ thuật xử lý ngôn ngữ tự nhiên trong Python. Dựa vào bộ dữ liệu có sẵn và thư viện mạnh mẽ như scikit-learn, bạn có thể xây dựng mô hình chỉ trong vài trăm dòng mã, nhưng đem lại hiệu quả thực tế cao.
