Làm sạch dữ liệu lớn trước khi phân tích

BởiChu Minh Nam5 phút đọc107 lượt xem

Chia sẻ

Dữ liệu lớn (Big Data) đang trở thành nguồn tài nguyên quan trọng để đưa ra quyết định trong mọi lĩnh vực, từ kinh doanh, tài chính đến y tế và giáo dục. Tuy nhiên, dữ liệu lớn thường không hoàn hảo. Nó chứa các giá trị thiếu, dữ liệu không hợp lệ, dữ liệu trùng lặp và đôi khi cả những lỗi nghiêm trọng về định dạng. Nếu không làm sạch, việc phân tích có thể dẫn đến kết quả sai lệch hoặc mô hình học máy hoạt động kém hiệu quả.

Làm sạch dữ liệu là bước không thể thiếu trước khi thực hiện phân tích hay xây dựng mô hình. Với dữ liệu lớn, thách thức càng tăng khi khối lượng dữ liệu lên tới hàng GB hoặc TB, đòi hỏi kỹ thuật và công cụ phù hợp để xử lý hiệu quả. Trong bài viết này, bạn sẽ học cách làm sạch dữ liệu lớn bằng Python, từ các thao tác cơ bản với Pandas đến xử lý phân tán bằng Dask và PySpark.

Tải và khám phá dữ liệu lớn

Trước khi làm sạch, việc khám phá dữ liệu giúp hiểu rõ cấu trúc, định dạng, kích thước và các vấn đề tồn tại. Với dữ liệu lớn, bạn cần một cái nhìn tổng quan để xác định chiến lược xử lý hợp lý.

Chúng ta sẽ sử dụng bộ dữ liệu COVID-19 từ Our World in Data (link tải trực tiếp) để thực hành. Đối với dữ liệu lớn hơn, ta có thể dùng Dask để đọc từng phần dữ liệu.

import pandas as pd

# Tải dữ liệu
url = "https://covid.ourworldindata.org/data/owid-covid-data.csv"
df = pd.read_csv(url)

# Khám phá dữ liệu
print(df.shape)
print(df.info())
print(df.describe())

Nếu file quá lớn để Pandas xử lý:

import dask.dataframe as dd

# Đọc dữ liệu lớn bằng Dask
df_dask = dd.read_csv(url)
print(df_dask.head())

Xử lý dữ liệu thiếu (missing values)

Dữ liệu thiếu là vấn đề phổ biến, đặc biệt trong dữ liệu lớn thu thập từ nhiều nguồn. Việc xử lý hợp lý giúp giữ lại thông tin quan trọng mà không làm sai lệch kết quả phân tích.

Bạn có thể chọn loại bỏ, thay thế (imputation) hoặc giữ nguyên giá trị thiếu tùy trường hợp.

# Kiểm tra dữ liệu thiếu
print(df.isnull().sum())

# Loại bỏ cột có >50% giá trị thiếu
df = df.dropna(thresh=len(df)*0.5, axis=1)

# Điền giá trị thiếu bằng giá trị trung bình
df['new_cases'] = df['new_cases'].fillna(df['new_cases'].mean())

Xử lý dữ liệu trùng lặp

Dữ liệu trùng lặp làm tăng kích thước dataset và có thể gây sai lệch phân tích. Với dữ liệu lớn, việc loại bỏ bản ghi trùng giúp giảm đáng kể thời gian xử lý và lưu trữ.

Xác định và loại bỏ các bản ghi trùng lặp.

# Đếm số bản ghi trùng lặp
print(df.duplicated().sum())

# Loại bỏ bản ghi trùng lặp
df = df.drop_duplicates()

Chuẩn hóa định dạng dữ liệu

Dữ liệu từ nhiều nguồn có thể có định dạng không đồng nhất (ví dụ: ngày tháng, kiểu dữ liệu). Chuẩn hóa giúp đảm bảo tính nhất quán trước khi phân tích.

Chuyển đổi kiểu dữ liệu và định dạng cột ngày tháng.

# Chuyển cột date thành datetime
df['date'] = pd.to_datetime(df['date'])

# Chuyển kiểu dữ liệu
df['continent'] = df['continent'].astype('category')

Xử lý outliers (giá trị ngoại lai)

Outliers có thể làm sai lệch thống kê và mô hình học máy. Phát hiện và xử lý kịp thời giúp dữ liệu “sạch” hơn.

Dùng phương pháp IQR để xác định và loại bỏ outliers.

Q1 = df['new_cases'].quantile(0.25)
Q3 = df['new_cases'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# Loại bỏ outliers
df = df[(df['new_cases'] >= lower_bound) & (df['new_cases'] <= upper_bound)]

Kết hợp dữ liệu từ nhiều nguồn

Phân tích dữ liệu lớn thường yêu cầu kết hợp dữ liệu từ nhiều file hoặc API. Quá trình này phải được thực hiện cẩn thận để tránh lỗi join hoặc mất dữ liệu.

Dùng merge hoặc concat của Pandas.

# Ví dụ nối 2 dataset theo country
df1 = pd.read_csv('data_part1.csv')
df2 = pd.read_csv('data_part2.csv')

df_combined = pd.concat([df1, df2], axis=0)

Kết luận

Làm sạch dữ liệu là bước quan trọng nhất để đảm bảo chất lượng phân tích và mô hình hóa. Với dữ liệu lớn, việc sử dụng các công cụ như Dask hoặc PySpark giúp xử lý nhanh và hiệu quả hơn. Sau khi làm sạch, dữ liệu đã sẵn sàng để phân tích chuyên sâu, trực quan hóa, hoặc huấn luyện mô hình học máy.

Bạn có thể tiếp tục kết hợp quy trình này với kỹ thuật Augmentation ảnh để huấn luyện tốt hơn hoặc triển khai vào hệ thống thực tế bằng API dự đoán với Flask + ML model.