Tìm hiểu thông tin về cơ chế hoạt động của Apache Kafka

Vinh Phạm

1093

01-02-2023

Sức mạnh xử lý và tính linh hoạt của Apache Kafka là yếu tố chính khiến nó trở thành công cụ phổ biến nhất để làm việc với streaming data. Vậy cơ chế hoạt động của Apache Kafka như thế nào? Hãy cùng Bizfly Cloud tìm hiểu qua bài viết dưới đây!

Tổng quan về Apache Kafka

Apache Kafka là một hệ thống publish-subscribe messaging phân tán, nhận dữ liệu từ các hệ thống nguồn khác nhau và cung cấp dữ liệu cho các hệ thống đích trong thời gian thực. Apache Kafka được viết bằng Scala và Java và là sản phẩm của các cựu kỹ sư dữ liệu LinkedIn. Ngay từ năm 2011, công nghệ này đã được chuyển giao cho cộng đồng nguồn mở dưới dạng một hệ thống có khả năng mở rộng cao. Ngày nay, Apache Kafka là một phần của Confluent Stream Platform và xử lý hàng nghìn tỷ event mỗi ngày. Apache Kafka đã khẳng định vị thế của mình trên thị trường nhờ mang lại nhiều lợi ích cho các công ty.

Dữ liệu và nhật ký liên quan đến các hệ thống phức tạp ngày nay phải được xử lý, tái xử lý và phân tích trong thời gian thực. Và đó là lý do tại sao Apache Kafka đang đóng một vai trò quan trọng trong bối cảnh ngày nay — một lượng dữ liệu khổng lồ ngày càng tăng đang được sản xuất và tiêu thụ bởi nhiều dịch vụ khác nhau (Internet of Things, Machine Learning, Mobile, Microservices). Các nguyên tắc thiết kế chính của Kafka được hình thành dựa trên nhu cầu ngày càng tăng về kiến trúc thông lượng cao, dễ dàng mở rộng quy mô và cung cấp khả năng lưu trữ, xử lý và tái xử lý streaming data.

Cơ chế hoạt động của Apache Kafka

Apache Kafka hoạt động giống như một message queue (hàng đợi message) pub-sub truyền thống (chẳng hạn như RabbitMQ) ở chỗ nó cho phép bạn publish và subscribe các luồng message. Tuy nhiên Apache Kafka khác với message queue truyền thống ở 3 điểm chính:

1. Kafka hoạt động như một hệ thống phân tán hiện đại chạy dưới dạng một cụm và có thể mở rộng quy mô để xử lý bất kỳ số lượng ứng dụng nào.
2. Kafka được thiết kế để phục vụ như một hệ thống lưu trữ và có thể lưu trữ dữ liệu trong thời gian cần thiết; hầu hết các message queue sẽ xóa message ngay sau khi consumer xác nhận đã nhận.
3. Kafka xử lý stream processing, tính toán các luồng dẫn xuất và các dataset một cách linh hoạt, thay vì chỉ chuyển các dãy thông báo.

Quy trình làm việc của Pub-Sub Messaging

Sau đây là quy trình từng bước của Pub-Sub Messaging:

• Các producer gửi message đến một topic theo định kỳ.
• Kafka broker lưu trữ tất cả các message trong các partition được định cấu hình cho topic cụ thể đó. Nó đảm bảo các message được chia đều giữa các partition. Nếu producer gửi hai message và có hai partition, Kafka sẽ lưu trữ một message trong partition đầu tiên và message thứ hai trong partition thứ hai.
• Consumer sẽ subscribe một topic cụ thể.
• Sau khi consumer đã subscribe một topic, Kafka sẽ cung cấp offset hiện tại của topic cho consumer và cũng lưu offset trong nhóm Zookeeper.
• Consumer sẽ yêu cầu Kafka trong một khoảng thời gian đều đặn (ví dụ 100 Ms) cho các message mới.
• Khi Kafka nhận được message từ producer, nó sẽ chuyển tiếp những message này đến consumer.
• Consumer sẽ nhận được message và xử lý nó.
• Sau khi message được xử lý, consumer sẽ gửi xác nhận đến Kafka broker.
• Khi Kafka nhận được xác nhận, nó sẽ thay đổi offset thành giá trị mới và cập nhật nó trong Zookeeper. Vì các offset được duy trì trong Zookeeper nên consumer có thể đọc message tiếp theo một cách chính xác ngay cả khi máy chủ gặp sự cố.
• Luồng trên sẽ lặp lại cho đến khi consumer dừng yêu cầu.
• Consumer có tùy chọn tua lại/bỏ qua offset mong muốn của một topic bất kỳ lúc nào và đọc tất cả các message tiếp theo.

Trong quá trình phát triển website, ứng dụng rất dễ xảy ra trường hợp lượng message cần xử lý tăng lên quá nhiều dẫn đến các data pipeline trở nên vô cùng phức tạp, khiến việc quản lý và vận hành rất khó khăn. Kafka với năng lực phân phối tuyệt vời là giải pháp hoàn hảo để xử lý cho bài toán này. Tuy nhiên, để triển khai 1 hệ thống như vậy sẽ cần rất nhiều thời gian, nguồn lực, tài nguyên và chi phí.

Bizfly Kafka là dịch vụ Kafka-as-a-service được cung cấp tiên phong tại Việt Nam với nhiều ưu điểm vượt trội sẽ giúp doanh nghiệp giải bài toán trên một cách hiệu quả. Bizfly Kafka là giải pháp tự động hóa hoàn toàn việc quản lý, duy trì và mở rộng các cụm Apache Kafka mà không cần phải quản lý hay cài đặt server. Các tài nguyên sẽ được tự động cung cấp và quản lý, mở rộng quy mô ứng dụng khi khối lượng streaming data thay đổi hoàn toàn tự động, không cần thao tác thủ công, giúp bạn tập trung tối đa thời gian, công sức cho phát triển sản phẩm, tính năng cốt lõi.

• Tự động hóa hoàn toàn việc quản lý, duy trì và mở rộng các cụm Apache Kafka.
• Truyền dữ liệu thời gian thực an toàn với độ sẵn sàng cao.
• Không tốn công sức triển khai, dễ dàng quản lý giúp tối ưu chi phí tài nguyên, nguồn lực.