Các bước khai thác dữ liệu

694

02-07-2019

Xác định vấn đề

Đây là một trong những bước quan trọng nhất mặc dù nó có thể không liên quan gì đến các khía cạnh kỹ thuật thực tế của khai thác dữ liệu.

Xác định mục tiêu kinh doanh: Bạn đang cố gắng giải quyết vấn đề kinh doanh nào? Giữ chân khách hàng? Tìm kiếm khách hàng? Giảm chi phí bảo trì hay chi phí vận hành? Hãy xem xét một số ví dụ khai thác dữ liệu để có được một ý tưởng thích hợp cho doanh nghiệp.

Xác định mục tiêu khai thác dữ liệu: Làm thế nào những mục tiêu kinh doanh được chọn đó chuyển thành mục tiêu dự án khai thác dữ liệu cụ thể? Câu trả lời cho câu hỏi này sẽ xác định được những bộ dữ liệu nào là cần thiết và các dữ liệu đó cần chứa những gì…

Xác định dữ liệu cần thiết

Khi bước 1 được hoàn thành, bạn cần thu thập và hiểu các dữ liệu đó. Bạn đã hiểu rõ tất cả các thuộc tính chưa? Chất lượng dữ liệu của các thuộc tính là gì? Thực hiện một số kiểm tra trực quan và tại chỗ cho dữ liệu. Điều này sẽ cho bạn ý tưởng về việc chuẩn bị và xử lý dữ liệu.

Chuẩn bị

Đây là lúc các vấn đề sẽ hay phát sinh. Chọn dữ liệu cần thiết từ bộ sưu tập tổng thể và lọc định dạng phù hợp nếu cần thiết. Bạn có thể sẽ chỉ cần một phần bộ dữ liệu cho dự án ở bước 1. Có thể cần tích hợp nhiều nguồn dữ liệu để chuẩn bị cho những dữ liệu cuối cùng. Một số nguồn dữ liệu này có thể xuất hiện ở bên ngoài, giúp hoàn thành một số thuộc tính của dữ liệu.

Mô hình hóa

Phần khai thác thực tế của khai thác dữ liệu sẽ bắt đầu tại bước này. Chọn các thuật toán thích hợp cho các nhiệm vụ và các tham số cần thiết. Hãy xem xét các bài viết kỹ thuật khai thác dữ liệu để có ý tưởng về các thuật toán. Lúc này, bạn sẽ chọn một công cụ nhằm nâng cao năng suất. Sử dụng các công cụ đó để xây dựng mô hình và đánh giá kết quả ban đầu. Mục tiêu cuối cùng của khai thác dữ liệu là về dự đoán, kết quả tại một số thời điểm có thể làm mất hiệu lực các giả định trước nếu dự đoán nằm ngoài giả thuyết trước. Bản thân mô hình hóa có thể bao gồm nhiều bước liên quan đến việc mô tả dữ liệu như được đề cập trong bài viết về kỹ thuật khai thác dữ liệu.

Đào tạo và kiểm tra

Đánh giá kết quả sơ bộ và kiểm tra mô hình trên các bộ dữ liệu mẫu khác nhau và xem xét kết quả. Những kết quả trên các mẫu khác nhau có tương quan? Có gì mâu thuẫn? Tiếp tục lặp đi lặp lại cho đến khi bạn hài lòng với tính nhất quán của kết quả.

Xác minh và triển khai

Xác nhận mô hình cuối cùng và kế hoạch triển khai. Hãy xem xét về những dữ liệu cần thiết để triển khai. Báo cáo những phát hiện và vận hành quá trình.

Hy vọng bài viết này đã làm rõ được cho các bạn về các bước khai thác dữ liệu, và như đã đề cập trong bài, bạn có thể trải qua ít nhất 3 đến 4 bước hoặc nhiều nhất là 8 tùy theo mức độ tổng hợp. Ví dụ, khai thác dữ liệu cho cuốn sách giả xác định số bước khác nhau, mặc dù phạm vi là như nhau.