Web Scraping là gì? Ứng dụng Web Scraping trong lĩnh vực nào?

Bizfly Cloud

1541

12-07-2021

Web scraping là một trọng những loại công cụ được sinh ra giữa bối cảnh nhu cầu truy xuất dữ liệu trên Internet bùng nổ, nhằm thay thế hoạt động thủ công chậm chạp và tốn kém của con người. Vậy web scraping là gì và nó có những đặc tính gì? Hãy cùng Bizfly Cloudtìm hiểu trong bài viết hôm nay.

Web Scraping là gì?

Web scraping là quá trình sử dụng bots (các phần mềm máy tính thực hiện các tác vụ tự động) để trích xuất dữ liệu và nội dung từ các website. Những dữ liệu thu thập được sau đó được lưu thành các định dạng hữu ích như bảng tính hoặc được truy xuất bằng API để phục vụ cho đa dạng mục đích khác nhau. Những công cụ phục vụ web scraping được gọi là web scraper.

Web scraper hoạt động bằng cách quét mã HTML của trang web và lấy ra phần thông tin hữu ích ẩn trong đó. Tuy nhiên không nên đánh đồng web scraping với một hình thức khai thác dữ liệu khác là web crawling, khi web crawling thường trừu tượng hơn và lấy tất cả thông tin từ website, trong khi web scraping thì nhắm đến những tập dữ liệu cụ thể.

Web Scraping được dùng để làm gì?

Ngày nay ta được nghe nói rất nhiều về dữ liệu lớn hay khoa học dữ liệu với những thuật toán phức tạp phía sau. Nhưng có một điều quan trọng mà ít ai để ý là để có thể áp dụng những thuật toán nói trên thì người ta lấy dữ liệu ở đâu?

Thực tế là mọi doanh nghiệp đều cố gắng bảo vệ cơ sở dữ liệu của mình, mọi cá nhân đều cố gắng bảo vệ quyền riêng tư trong khi cơ hội được làm việc trong các tập đoàn lớn với các nguồn dữ liệu lớn có sẵn là rất ít. Khi đó, hoặc là bỏ tiền ra để mua dữ liệu từ những nguồn bất hợp pháp, hoặc ta buộc phải thu thập dữ liệu từ các nguồn đã công khai như website trên Internet. Tuy nhiên, những dữ liệu đó thường rời rạc, khó khai thác thủ công bằng sức người, khiến những công cụ tự động hóa như web scraper được ra đời và sử dụng.

Web Scraping thường ứng dụng trong lĩnh vực nào?

Theo thống kê của Linkedin tại Mỹ, Web Scraping được sử dụng trong 54 lĩnh vực khác nhau. Trong đó, 10 lĩnh vực sử dụng công cụ này phổ biến nhất phải kể đến là:

• Phần mềm máy tính (22%)
• Công nghệ thông tin và dịch vụ (21%)
• Dịch vụ tài chính (12%)
• Internet (11%)
• Tiếp thị và quảng cáo (5%)
• Bảo mật máy tính & mạng (3%)
• Bảo hiểm (2%)
• Ngân hàng (2%)
• Tư vấn quản lý (2%)
• Truyền thông trực tuyến (2%).

Các loại Web Scraping phổ biến

Dưới đây là 4 loại web scraping phổ biến hiện nay:

• Self-built or Pre-built
• Cloud vs Local
• Browser extension vs software
• User interface

Cách hoạt động của Web Scraping

Đầu tiên, người ta cần cung cấp URL website mục tiêu cho các web scraper. Sau đó, scraper load toàn bộ code HTML hoặc trong vài trường hợp cả JS và CSS.

Người dùng sau đó lựa chọn những dữ liệu cụ thể mà họ muốn như giá cả, kích thước của hàng hóa hay tiêu đề và nội dung các bài báo để scraper duyệt qua tất cả các trang liên quan và lấy dữ liệu. Các thông tin này có thể được cấu hình trước nếu nguồn dữ liệu là tĩnh, nhưng thường phải chọn thủ công cho mỗi website vì cấu trúc của chúng là không giống nhau.

Cuối cùng, web scraper sẽ xuất ra tất cả dữ liệu đã thu thập được thành định dạng hữu ích hơn cho người dùng. Hầu hết các web scraper sẽ xuất dữ liệu sang bảng tính CSV hoặc Excel, trong khi các scraper nâng cao hơn sẽ hỗ trợ các định dạng khác như JSON, có thể được sử dụng cho API.

Phải chăng Web Scraping đều xấu?

Hầu hết các website được viết ra để phục vụ đối tượng là con người chứ không tối ưu để được đọc bởi những cỗ máy. Việc sử dụng bots để trích xuất dữ liệu thường không được các quản trị viên website tính đến và do đó có thể phục vụ các mục đích tốt hoặc xấu mà không thể kiểm soát.

Những ứng dụng hợp pháp

• Các máy tìm kiếm sử dụng bots để lấy dữ liệu phục vụ phân tích và xếp hạng nội dung website.
• Các ứng dụng so sánh giá triển khai bots trên các website bán hàng đối tác để thu thập giá và mô tả mặt hàng giúp người dùng so sánh, lựa chọn tiết kiệm.
• Các công ty nghiên cứu thị trường sử dụng scraper để kéo dữ liệu công khai về từ các diễn đàn, mạng xã hội,… phân tích xu hướng thị trường.

Mặt trái của web scraping

Do còn là một khái niệm mới, ngay cả trong các bộ luật cũng chưa thể quy định đầy đủ web scraping là tốt hay xấu trong những trường hợp cụ thể. Tuy nhiên khi web scraping diễn ra mà không có sự đồng ý của chủ sở hữu website, gần như mặc định đó là hành vi bất hợp pháp, ví dụ:

• Sao chép và đánh cắp nội dung bản quyền từ các website khác.
• Tạo lợi thế giá cả nhờ thu thập và phân tích giá từ đối thủ: điều này nghe có vẻ bình thường vì cạnh tranh giá cả luôn có lợi cho người tiêu dùng, tuy nhiên năm 2001 đã có một công ty du lịch bị phán quyết là truy cập trái phép do dùng web scraping để định giá sản phẩm của mình thấp hơn niêm yết trên website đối thủ.

Rõ ràng, ranh giới tốt xấu trong web scraping là rất mong manh. Ngay cả khi mục đích của bạn là tốt và không gây ảnh hưởng tiêu cực đến website mục tiêu thì hành động scraping vẫn là trái phép nếu người quản trị web không muốn điều đó.

Cách bảo mật Web Scraping

Sự gia tăng của các bot scraper độc hại khiến cho một số biện pháp bảo mật thông thường trở nên vô hiệu lực. Nhằm chống lại những bot scraper tiên tiến đó, công ty Imperva đã sử dụng phương pháp phân tích lưu lượng truy cập chi tiết, đảm bảo tất cả lưu lượng truy cập đến website, bao gồm cả con người và bot, đều hợp pháp.

Quá trình này bao gồm việc xác minh chéo các yếu tố sau:

• 0 fingerprint: Bắt đầu quá trình lọc bằng việc kiểm tra các header HTTP. Việc này giúp cung cấp manh mối về việc khách truy cập là người hay bot, an toàn hoặc độc hại. Chữ ký header sẽ được so sánh với cơ sở dữ liệu được cập nhật liên tục với hơn 10 triệu biến thể.
• IP Reputation: Thu thập dữ liệu IP từ các cuộc tấn công chống lại khách hàng. Các lượt truy cập từ các địa chỉ IP có lịch sử bị sử dụng trong các tấn công sẽ được coi là nghi ngờ, cần xem xét kỹ hơn.
• Phân tích hành vi: Việc theo dõi những khách truy cập tương tác với một website có thể cho thấy những kiểu hành vi bất thường, ví dụ như tỷ lệ yêu cầu mạnh một cách đáng ngờ hoặc duyệt web phi logic. Từ đó giúp phát hiện các bot đang cố gắng truy cập vào website.
• Các challenge liên tục: Sử dụng các challenge gồm có cookie support và thực thi Javascript để lọc ra các bot. Phương án cuối cùng là sử dụng CAPTCHA, giúp loại bỏ các bot đang bắt chước con người để vượt qua hàng rào bảo vệ.

Web scraping có thể là một công cụ mạnh mẽ để khai thác dữ liệu trong thời đại bùng nổ thông tin hiện nay, tuy nhiên chúng ta vẫn cần thận trọng khi tiếp cận và sử dụng phương thức này để tránh những vi phạm đạo đức và pháp luật có thể xảy ra.