Phân tích file log hệ thống để phát hiện bất thường

BởiChu Minh Nam4 phút đọc177 lượt xem

Chia sẻ

Phân tích log hệ thống là bước nền tảng trong giám sát an ninh và vận hành hệ thống. Log ghi lại mọi hoạt động như đăng nhập, truy cập dịch vụ, lỗi hệ thống hoặc hành vi tấn công. Việc phát hiện bất thường trong log giúp kịp thời xử lý sự cố và ngăn chặn các nguy cơ bảo mật.

Trong bài viết này, bạn sẽ học cách xử lý và phân tích file log thực tế với Python. Dataset sử dụng là dữ liệu log mô phỏng hành vi mạng — phù hợp cho việc thử nghiệm phát hiện bất thường, tải từ Kaggle. Bài viết sẽ hướng dẫn bạn cách tải dataset, tổ chức thư mục, đọc dữ liệu, lọc cảnh báo và phát hiện bất thường bằng mô hình Isolation Forest.

Tải và tổ chức dữ liệu log từ Kaggle

Tải dữ liệu từ Kaggle

Truy cập trang: https://www.kaggle.com/datasets/fcwebdev/synthetic-cybersecurity-logs-for-anomaly-detection
Đăng nhập tài khoản
Nhấn nút Download All → bạn sẽ nhận được file nén achive.zip
Giải nén file đó, bên trong bạn sẽ thấy tệp advanced_cybersecurity_data.csv

Tổ chức thư mục

Đề xuất tổ chức như sau:

log-analysis/
├── data/
│   └── log.csv
├── scripts/
│   └── analyze_log.py

Đặt file log.csv vào thư mục data/. File script phân tích để riêng trong scripts/.

Đọc và xem sơ bộ dữ liệu

import pandas as pd

df = pd.read_csv('../data/advanced_cybersecurity_data.csv')
print(df.head())
print(df.columns)

Các cột sẽ là:

Timestamp (thời gian yêu cầu)
IP_Address
Request_Type (GET, POST, DELETE…)
Status_Code (200, 404, 500…)
Anomaly_Flag (0: bình thường, 1: bất thường – nhãn có sẵn)
User_Agent
Session_ID
Location

Chuyển timestamp sang datetime và đặt làm index:

df['Timestamp'] = pd.to_datetime(df['Timestamp'])
df = df.set_index('Timestamp')

Thống kê hoạt động hệ thống theo thời gian

df['Request_Type'].resample('1H').count().plot(title='Số lượng request mỗi giờ', figsize=(12,4))

Bạn có thể xem tần suất các Status_Code hoặc IP_Address xuất hiện nhiều nhất:

print(df['Status_Code'].value_counts())
print(df['IP_Address'].value_counts().head())

Trực quan hóa phân bố bất thường theo thời gian

import matplotlib.pyplot as plt

df['Anomaly_Flag'] = df['Anomaly_Flag'].astype(int)
anomaly_per_hour = df['Anomaly_Flag'].resample('1H').sum()
normal_per_hour = df['Anomaly_Flag'].resample('1H').count() - anomaly_per_hour

plt.figure(figsize=(12,5))
plt.plot(anomaly_per_hour, label='Bất thường', color='red')
plt.plot(normal_per_hour, label='Bình thường', color='blue')
plt.legend()
plt.title('Bất thường vs Bình thường theo giờ')
plt.show()

Tạo đặc trưng để huấn luyện mô hình phát hiện bất thường

Dù Anomaly_Flag đã có, bạn có thể thử mô hình tự học như Isolation Forest bằng cách bỏ cột đó.

from sklearn.ensemble import IsolationForest
from sklearn.preprocessing import LabelEncoder

# Encode một số cột dạng text
df_encoded = df.copy()
for col in ['Request_Type', 'Status_Code', 'User_Agent', 'Location']:
    df_encoded[col] = LabelEncoder().fit_transform(df_encoded[col].astype(str))

features = df_encoded[['Request_Type', 'Status_Code', 'Session_ID', 'User_Agent', 'Location']]
model = IsolationForest(contamination=0.01, random_state=42)
df['Predicted_Anomaly'] = model.fit_predict(features)

Kết quả: -1 là bất thường theo mô hình.

So sánh mô hình với Anomaly_Flag để đánh giá sơ bộ:

from sklearn.metrics import classification_report

print(classification_report(df['Anomaly_Flag'], df['Predicted_Anomaly'] == -1))

Xem chi tiết các log bất thường

df[df['Predicted_Anomaly'] == -1][['IP_Address', 'Request_Type', 'Status_Code', 'User_Agent']].head(10)

Bạn có thể nhóm theo IP để xem IP nào có nhiều hoạt động đáng ngờ:

suspicious_ip = df[df['Predicted_Anomaly'] == -1]['IP_Address'].value_counts()
print(suspicious_ip.head())

Kết luận

Phân tích log hệ thống là một kỹ năng thiết yếu trong an ninh mạng và vận hành hệ thống. Qua bài viết này, bạn đã được hướng dẫn cách tải và tổ chức dataset thực tế từ Kaggle, xử lý dữ liệu log với các trường như thời gian, IP, mã trạng thái và loại yêu cầu HTTP, sau đó áp dụng các kỹ thuật thống kê và mô hình học máy như Isolation Forest để phát hiện bất thường.

Dù dữ liệu được mô phỏng, nó phản ánh sát thực tế các kịch bản bảo mật thường gặp. Việc làm chủ quy trình từ tiền xử lý đến phân tích bất thường sẽ giúp bạn dễ dàng mở rộng sang các dự án thực tế, xây dựng hệ thống cảnh báo hoặc tích hợp vào dashboard giám sát. Đây là nền tảng quan trọng cho bất kỳ ai làm việc trong lĩnh vực DevSecOps, data science hoặc SOC (Security Operations Center).