about Bizfly Kafka

Về Bizfly Kafka

Kafka là hệ thống phân phối message publish/subcribe (distributed messaging system). Bên publish dữ liệu được gọi là producer hay người gửi, bên subscribe nhận dữ liệu theo topic được gọi là consumer hay người nhận.

Kafka có khả năng truyền tải 1 khối lượng vô cùng lớn các message theo thời gian thực, trong trường hợp bên nhận chưa nhận, message vẫn được lưu trữ sao lưu trên một queue và cả trên ổ đĩa an toàn. Đồng thời cũng được replicate trong cluster để phòng tránh mất dữ liệu.

Trong quá trình phát triển website, ứng dụng, có thể xảy ra việc lượng message cần xử lý tăng lên quá nhiều dẫn đến các data pipeline trở nên vô cùng phức tạp để quản lý và vận hành. Kafka với năng lực phân phối tuyệt vời kể trên sẽ được ứng dụng để xử lý cho các tình huống này. Tuy nhiên, để triển khai 1 hệ thống như vậy sẽ cần rất nhiều thời gian, nguồn lực, tài nguyên và chi phí.

Thiết lập sẵn sàng để triển khai ngay lập tức, với Bizfly Kafka, developer dễ dàng sử dụng Apache Kafka để giao tiếp xử lý dữ liệu theo thời gian thực trong các hệ thống mà không cần phải quản lý hay cài đặt server. Các tài nguyên sẽ được tự động cung cấp và quản lý, mở rộng quy mô ứng dụng khi khối lượng streaming data thay đổi hoàn toàn tự động, không cần thao tác thủ công, giúp bạn tập trung tối đa thời gian, công sức cho phát triển sản phẩm, tính năng cốt lõi.

Bizfly Kafka hoạt động như thế nào?

kas-model

Tại sao nên sử dụng Bizfly Kafka của Bizfly Cloud

Feature Icon
Tối ưu chi phí ban đầu

Giảm thiểu hoặc không có chi phí dành cho nguồn nhân lực, thiết bị, máy móc, phần cứng đắt đỏ khi tự xây dựng, quản lý, đo lường... một hệ thống xử lý dữ liệu thời gian thực.

Feature Icon
Tự động cập nhật phiên bản

Bizfly Kafka sẽ tự động nâng cấp phiên bản trên các cụm đang chạy để duy trì tính khả dụng của I/O, giúp người dùng chủ động lựa chọn tính năng và sửa lỗi trong các phiên bản Apache Kafka mới.

Feature Icon
Mở rộng cụm cực kỳ linh hoạt

Tự động tăng số lượng broker cũng như dung lượng lưu trữ cho mỗi broker, đáp ứng các nhu cầu throughput khác nhau, đồng thời đảm bảo khả năng lưu trữ và xử lý khối lượng lớn dữ liệu ở tốc độ cao.

Feature Icon
Không tốn công sức setup,
quản lý cluster

Người dùng chỉ cần truy cập Dashboard của Bizfly Kafka và sử dụng ngay lập tức. Các công việc quy định, điều chỉnh cấu hình, quản lý hoạt động các cụm sẽ được thực hiện hoàn toàn tự động.

Feature Icon
Thanh toán linh hoạt
tối ưu chi phí sử dụng

Bizfly Kafka cung cấp phương thức thanh toán pay-as-you-go, người dùng, khách hàng chỉ phải chi trả cho những gì thực sự sử dụng, giúp tối ưu chi phí tài nguyên.

Feature Icon
Bảo mật mạnh mẽ

Cung cấp cơ chế chứng thực và mã hóa cùng với danh sách kiểm soát truy cập Apache Kafka (ACL) để kiểm soát quyền truy cập của máy khách, mặc định mã hóa toàn bộ dữ liệu khách hàng.

Feature Icon
Quản lý tất cả trên 1 Dashboard

Khởi tạo, thiết lập cấu hình cụm, theo dõi và quản lý Metrics của topic, consumer, producer, partition chỉ trên 1 Dashboard duy nhất, từ đó sớm phát hiện các vấn đề phát sinh trong quá trình sử dụng tài nguyên. Quản lý Logging giúp theo dõi và phân tích hành vi người dùng trên website/ứng dụng.

Feature Icon
Đảm bảo tính khả dụng cao

Có cơ chế tự động phát hiện và phản hồi các sự cố trong cả tầng hạ tầng và tầng phần mềm. Đồng thời tự động cập nhật các bản vá khi cần thiết. Kết hợp với hệ thống Multi DC và đường truyền trong nước mạnh mẽ, tính replica dữ liệu, các cụm sẽ được đảm bảo luôn trong trạng thái sẵn sàng cao nhất.

Tính năng nổi bật của Dashboard Bizfly Kafka

Feature Icon

Quản lý topic

Tạo, thêm, sửa, xóa, tìm kiếm, xem thông tin topic. Tìm kiếm, xóa, xem danh sách số lượng phân vùng message.

Feature Icon

Quản lý credential

Tạo, tìm kiếm, thêm, sửa, xóa, xem thông tin user/password. Cho phép xem danh sách ACL của topic.

Feature Icon

Quản lý ACL

Tạo, tìm kiếm, show, cấp quyền, sửa, xoá ACL của Topic, Consumer group.

Feature Icon

Quản lý Consumer Group

Tạo, tìm kiếm, thêm, sửa (Tên, topics, số lượng phân vùng, offset), xóa, em danh sách Consumer group.

Feature Icon

Quản lý metrics monitoring

Cung cấp bộ lọc theo thời gian, bộ lọc theo Topic, Consumer theo bộ lọc thời gian.

Feature Icon

Quản lý logging

Cung cấp bộ lọc theo thời gian, bộ lọc theo Topic, Consumer theo bộ lọc thời gian.

about Bizfly Kafka

USE CASE

about Bizfly Kafka

Xử lý luồng dữ liệu thời gian thực

Kafka được phát triển tối ưu cho việc xử lý dữ liệu trong thời gian thực, nên được ứng dụng phổ biến nhất cho các công việc này. Mỗi khi dữ liệu được thêm mới vào topic sẽ ngay lập tức được ghi vào hệ thống và truyền đến bên nhận dữ liệu.

Ví dụ trong app đọc báo Kênh 14, Kafka được ứng dụng để triển khai cho tính năng notification. Bên gửi/schedule sẽ đẩy dữ liệu để truyền qua Kafka đến bên nhận/notify và gửi notify cho user mỗi khi có tin mới được thêm trên hệ thống. Đồng thời, dữ liệu sẽ được phân phối để lưu vào hbase, elasticsearch, lưu lịch sử để thống kê và gửi vào OS app.

about Bizfly Kafka

Theo dõi hoạt động website

Nếu bạn sở hữu website và muốn theo dõi hành vi người dùng nhằm phân tích và tối ưu nội dung cho trang, từ đó thu hút nhiều khách truy cập hơn, bạn có thể sử dụng Kafka khi xây dựng trang. Tất cả các dữ liệu như: lượt xem trang, hoạt động tìm kiếm và mọi hành động trên trang đều sẽ được tạo thành các topic, được ghi nhận và theo dõi thời gian thực.

about Bizfly Kafka

Sử dụng như một message broker

Message broker là một module trung gian trung chuyển message từ người gửi đến người nhận. Message broker được sử dụng cho mục đích tiếp nhận những message từ các ứng dụng và thực hiện một thao tác nào đó (tách, xóa message...)

Có thể sử dụng Kafka để thay thế cho các message broker truyền thống như ActiveMQ hoặc RabbitMQ. Kafka cung cấp thông lượng lớn hơn, tính phân vùng, sao chép và tính chịu lỗi tốt khiến Kafka lý tưởng cho các ứng dụng xử lý message ở quy mô lớn

about Bizfly Kafka

Sử dụng để đo lường, phân tích

Kafka cũng được sử dụng để xây dựng nguồn dữ liệu giám sát các hoạt động. Số liệu thống kê từ các nguồn phân tán trên trang sẽ được tập hợp thành một nguồn tập trung, nhất quán, giúp việc đo lường, phân tích dễ dàng, nhanh chóng hơn bao giờ hết.

about Bizfly Kafka

Sử dụng để ghi Nhật ký hoạt động

Tổng hợp log hay nhật ký hoạt động là một cách sử dụng Kafka cũng khá phổ biến. Kafka tổng hợp thông tin các sự kiện từ các nguồn khác nhau và cung cấp bản ghi rõ ràng về dữ liệu sự kiện nhằm phục vụ xử lý về sau hiệu quả và tối ưu.

Bảng giá

Chi phí dịch vụ Bizfly Kafka được tính theo các thông số như bảng dưới đây
Chi phí (Chưa bao gồm 10% VAT)
Thông số Giá trị Số giờ Thành tiền (VNĐ)
Partition 1 1 31.05
Storage 1 (Gb) 1 2.88
Data In
(Tính theo rate tranfer)
1 (Gb) 2,070
Data Out
(Tính theo rate tranfer)
1 (Gb) 1,035
Cách tính

Giả sử bạn tạo 1 topic có 5 partitions (replica = 2 thì topic đó sẽ là 10 partitions),
bạn đẩy vào 100 Gb data, sử dụng để lưu trữ dữ liệu và duy trì trong 1 tháng,
thì Data In sẽ là 100 * 2,070,
và bạn consume ra khoảng 200 Gb data
Biểu phí cho 1 tháng sẽ được tính như dưới đây:

Thông số Định mức sử dụng Tính phí Thành tiền (VNĐ)
(Chưa bao gồm 10% VAT)
Partition (tính theo giờ) 10 partitions * 24h * 30 ngày 31.05 * 10 * 720 223,560
Storage 1Gb * 24h * 30 ngày 2.88 * 1 * 720 2,073.6
Data In 2,070 * 100 2,070 * 100 207,000
Data Out 1,035 * 200 1,035 * 200 207,000
Tổng chi phí sử dụng trong tháng = 223,560 + 2,073.6 + 207,000 + 207,000 = 639,633.6 VNĐ/tháng
Trải nghiệm miễn phí dịch vụ Bizfly Kafka vận hành bởi VCCorp!