Xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP) là một lĩnh vực đóng vai trò ngày càng quan trọng trong các ứng dụng như chatbot, phân tích cảm xúc, gợi ý thông minh và tìm kiếm ngữ nghĩa. Đối với tiếng Việt – một ngôn ngữ có cấu trúc cú pháp phức tạp, từ ghép và không sử dụng dấu cách để phân tách rõ ràng từ ngữ như tiếng Anh – việc xử lý tự động càng trở nên thử thách.
Trong hệ sinh thái NLP cho tiếng Việt, thư viện Underthesea là công cụ mạnh mẽ được phát triển bởi cộng đồng Việt Nam. Nó cung cấp nhiều chức năng như tách từ, gán nhãn từ loại (POS tagging), nhận diện thực thể (NER), phân tích cú pháp và nhiều hơn nữa. Đây là nền tảng tuyệt vời nếu bạn muốn xây dựng chatbot tiếng Việt, hệ thống phân loại văn bản, hoặc trích xuất thông tin tự động từ văn bản tiếng Việt.
Nếu bạn đã từng làm các bài toán như Tự động phân loại ảnh thời trang bằng AI hay Tạo chức năng nhận dạng ảnh trong app di động, thì bước tiếp theo hợp lý là khám phá xử lý ngôn ngữ tự nhiên tiếng Việt để xây dựng các ứng dụng thông minh có khả năng hiểu ngữ cảnh tiếng mẹ đẻ.
Cài đặt thư viện Underthesea
Để bắt đầu làm việc với Underthesea, bạn cần cài đặt thư viện qua pip. Dưới đây là cách cài đặt nhanh trên môi trường Python:
pip install underthesea
Cần lưu ý rằng Underthesea hoạt động ổn định nhất với Python 3.7 đến 3.9. Nếu bạn đang dùng Python 3.10+ và gặp lỗi, hãy cân nhắc tạo môi trường ảo với phiên bản cũ hơn.
Tách từ tiếng Việt bằng Underthesea
Trong tiếng Việt, các từ thường được ghép lại bằng dấu cách mà không có phân tách từ rõ ràng như tiếng Anh. Do đó, việc tách từ là bước quan trọng đầu tiên trong mọi pipeline NLP tiếng Việt.
Underthesea hỗ trợ tách từ bằng ngữ cảnh thông minh, giúp phân biệt giữa các cụm từ đơn và từ ghép, ví dụ “xử lý” sẽ được giữ lại thay vì tách thành “xử” và “lý”.
Đoạn code dưới đây minh họa cách sử dụng word_tokenize:
from underthesea import word_tokenize text = "Tôi đang học xử lý ngôn ngữ tự nhiên với thư viện underthesea." tokens = word_tokenize(text) print(tokens)
Ở đoạn code này, ta nhập một chuỗi tiếng Việt đơn giản. Hàm word_tokenize sẽ tự động phân tách câu thành các từ, trong đó các từ ghép như “xử_lý”, “ngôn_ngữ” được nối bằng dấu gạch dưới _. Đây là chuẩn định dạng giúp dễ xử lý sau này trong POS tagging hay phân tích cú pháp.
Kết quả thu được là:
['Tôi', 'đang', 'học', 'xử_lý', 'ngôn_ngữ', 'tự_nhiên', 'với', 'thư_viện', 'underthesea', '.']
Nếu bạn muốn giữ kết quả ở dạng văn bản, bạn có thể dùng format="text" để trả kết quả dạng chuỗi:
print(word_tokenize(text, format="text"))
Gán nhãn từ loại (POS Tagging)
Gán nhãn từ loại là bước giúp phân loại từng từ trong câu theo vai trò ngữ pháp: danh từ (N), động từ (V), tính từ (A)… Đây là bước rất quan trọng trong trích xuất thông tin, xây chatbot hay dịch máy.
Underthesea cung cấp hàm pos_tag để thực hiện nhiệm vụ này dễ dàng.
from underthesea import pos_tag text = "Tôi đang học xử lý ngôn ngữ tự nhiên với thư viện underthesea." print(pos_tag(text))
Hàm pos_tag nhận vào một câu tiếng Việt và trả về danh sách các tuple (từ, loại từ). Kết quả giúp hệ thống hiểu được chức năng ngữ pháp của từng thành tố trong câu, từ đó áp dụng các quy tắc ngữ nghĩa phù hợp.
Ví dụ kết quả trả về có thể là:
[('Tôi', 'P'), ('đang', 'R'), ('học', 'V'), ('xử_lý', 'V'), ('ngôn_ngữ', 'N'), ('tự_nhiên', 'A'), ('với', 'E'), ('thư_viện', 'N'), ('underthesea', 'Np'), ('.', 'CH')]
Trong đó:
P: Đại từV: Động từN: Danh từA: Tính từE: Giới từNp: Danh từ riêngCH: Dấu câu
Tách câu tiếng Việt tự động
Tách câu là bước tiền xử lý quan trọng trong mọi hệ thống NLP. Nó giúp phân chia văn bản thành các câu riêng biệt để xử lý chính xác hơn trong các bước sau như gán nhãn, phân tích ngữ nghĩa.
Underthesea hỗ trợ chức năng tách câu với độ chính xác cao.
from underthesea import sent_tokenize text = "Hôm nay trời đẹp. Tôi muốn đi chơi." print(sent_tokenize(text))
Hàm sent_tokenize chia đoạn văn thành các câu riêng biệt dựa trên dấu câu và ngữ cảnh. Kết quả trả về là danh sách các câu:
['Hôm nay trời đẹp.', 'Tôi muốn đi chơi.']
Nhận diện thực thể (Named Entity Recognition – NER)
NER là kỹ thuật giúp nhận diện các danh từ riêng như tên người, địa danh, tổ chức… Đây là bước cực kỳ quan trọng trong trích xuất thông tin và phân tích văn bản thực tế.
Underthesea hỗ trợ NER thông qua cùng một hàm pos_tag (hoặc ner) bằng cách gán nhãn Np cho các thực thể riêng biệt.
from underthesea import ner text = "Tôi sống ở Hà Nội và làm việc tại FPT Software." print(ner(text))
Kết quả:
[('Tôi', 'P'), ('sống', 'V'), ('ở', 'E'), ('Hà_Nội', 'Np'), ('và', 'C'), ('làm_việc', 'V'), ('tại', 'E'), ('FPT_Software', 'Np'), ('.', 'CH')]
Ở đây, Hà_Nội và FPT_Software được gắn nhãn Np, thể hiện là các thực thể tên riêng. Nhờ đó bạn có thể dễ dàng trích xuất danh sách các địa danh, công ty, hay tên người trong văn bản tự động.
Phân tích cú pháp (Dependency Parsing)
Dependency parsing giúp phân tích cấu trúc câu, xác định mối quan hệ ngữ pháp giữa các từ: chủ ngữ, động từ, bổ ngữ… Đây là kỹ thuật rất cần trong các ứng dụng AI như chatbot, hỏi đáp, và dịch máy.
Underthesea cung cấp API đơn giản để phân tích cú pháp:
from underthesea import dependency_parse text = "Tôi đang học xử lý ngôn ngữ tự nhiên." print(dependency_parse(text))
Kết quả trả về là cây phân tích cú pháp, trong đó mỗi phần tử gồm:
- Từ hiện tại
- Gốc (từ phụ thuộc)
- Nhãn quan hệ giữa hai từ
Ví dụ:
[('Tôi', 3, 'sub'), ('đang', 3, 'aux'), ('học', 0, 'root'), ('xử_lý', 3, 'obj'), ('ngôn_ngữ', 4, 'obj'), ('tự_nhiên', 5, 'mod'), ('.', 3, 'punct')]
Phân tích này cho biết: từ “học” là gốc (root) của câu, “Tôi” là chủ ngữ (sub), “xử_lý” là tân ngữ (obj), v.v. Nhờ thông tin này, bạn có thể xây hệ thống chatbot hiểu được câu hỏi người dùng và phản hồi thông minh hơn.
Kết luận
Underthesea là thư viện tiếng Việt đáng tin cậy và mạnh mẽ để xử lý các bài toán ngôn ngữ tự nhiên. Nó hỗ trợ đầy đủ từ tách từ, gán nhãn từ loại, nhận diện thực thể, đến phân tích cú pháp, giúp bạn xây dựng hệ thống NLP hoàn chỉnh cho tiếng Việt.
Bằng cách áp dụng những chức năng trên, bạn có thể triển khai các ứng dụng như:
- Hệ thống phân loại văn bản tiếng Việt
- Chatbot hiểu ngữ cảnh tiếng Việt
- Tìm kiếm ngữ nghĩa nâng cao
- Phân tích cảm xúc, trích xuất thông tin từ bình luận mạng xã hội
Nếu bạn muốn mình tiếp tục hướng dẫn cách kết hợp Underthesea với scikit-learn, xây dựng mô hình phân loại văn bản, hoặc tạo chatbot tiếng Việt thực chiến – chỉ cần nói, mình sẽ viết tiếp phần nâng cao chi tiết hơn.
