Hotline: (024) 7302 8888 - (028) 7302 8888

Bizfly Kafka - Kafka as a service

checked Tự động hóa hoàn toàn việc quản lý, du trì và mở rộng các cum Apache Kafka

checked Truyền dữ liệu thời gian thực an toàn với độ sẵn sàng cao

checked Không tốn công sức triển khai, dễ dàng quản lý giúp tối ưu chi phí tài nguyên, nguồn lực.

Về Bizfly Kafka

Kafka là hệ thống phân phối message publish/subcribe (distributed messaging system). Bên publish dữ liệu được gọi là producer hay người gửi, bên subscribe nhận dữ liệu theo topic được gọi là consumer hay người nhận.

Trong quá trình phát triển website, ứng dụng, có thể xảy ra việc lượng message cần xử lý tăng lên quá nhiều dẫn đến các data pipeline trở nên vô cùng phức tạp để quản lý và vận hành. Kafka với năng lực phân phối tuyệt vời kể trên sẽ được ứng dụng để xử lý cho các tình huống này. Tuy nhiên, để triển khai 1 hệ thống như vậy sẽ cần rất nhiều thời gian, nguồn lực, tài nguyên và chi phí.

Thiết lập sẵn sàng để triển khai ngay lập tức, với Bizfly Kafka, developer dễ dàng sử dụng Apache Kafka để giao tiếp xử lý dữ liệu theo thời gian thực trong các hệ thống mà không cần phải quản lý hay cài đặt server. Các tài nguyên sẽ được tự động cung cấp và quản lý, mở rộng quy mô ứng dụng khi khối lượng streaming data thay đổi hoàn toàn tự động, không cần thao tác thủ công, giúp bạn tập trung tối đa thời gian, công sức cho phát triển sản phẩm, tính năng cốt lõi.

Sử dụng Bizfly Kafka như thế nào

Bảng giá dịch vụ Kafka

Chi phí dịch vụ Bizfly Kafka được tính theo các thông số như bảng dưới đây
Chi phí (Chưa bao gồm 10% VAT)

Thông số	Giá trị	Số giờ	Thành tiền (VNĐ)
Partiton	1	1	31.05
Storage	1 GB	1	2.88
Data In (Tính theo rate tranfer)	1 GB		2,070
Data Out (Tình theo rate transfer)	1 GB		1,035

Cách tính giá Data Transfer

Giả sử bạn tạo 1 topic có 5 partitions (replica = 2 thì topic đó sẽ là 10 partitions),
bạn đẩy vào 100 Gb data, sử dụng để lưu trữ dữ liệu và duy trì trong 1 tháng,
thì Data In sẽ là 100 * 2,070,
và bạn consume ra khoảng 200 Gb data
Biểu phí cho 1 tháng sẽ được tính như dưới đây:

Thông số	Định mức sử dụng	Tính phí	Thành tiền (VNĐ)
Partiton (Tính theo giờ)	10 partitions * 24h * 30 ngày	31.05 * 10 * 720	223,560
Storage	1Gb * 24h * 30 ngày	2.88 * 1 * 720	2,073.6
Data In	2,070 * 100	2,070 * 100	207,000
Data Out	1,035 * 200	1,035 * 200	207,000

Ưu điểm vượt trội của Bizfly Kafka

Tự động cập nhật phiên bản

Bizfly Kafka sẽ tự động nâng cấp phiên bản trên các cụm đang chạy để duy trì tính khả dụng của I/O, giúp người dùng chủ động lựa chọn tính năng và sửa lỗi trong các phiên bản Apache Kafka mới.

Mở rộng cụm cực kỳ linh hoạt

Tự động tăng số lượng broker cũng như dung lượng lưu trữ cho mỗi broker, đáp ứng các nhu cầu throughput khác nhau, đồng thời đảm bảo khả năng lưu trữ và xử lý khối lượng lớn dữ liệu ở tốc độ cao.

Tối ưu chi phí ban đầu

Giảm thiểu hoặc không có chi phí dành cho nguồn nhân lực, thiết bị, máy móc, phần cứng đắt đỏ khi tự xây dựng, quản lý, đo lường... một hệ thống xử lý dữ liệu thời gian thực.

Không tốn công sức setup,quản lý cluster

Người dùng chỉ cần truy cập Dashboard của Bizfly Kafka và sử dụng ngay lập tức. Các công việc quy định, điều chỉnh cấu hình, quản lý hoạt động các cụm sẽ được thực hiện hoàn toàn tự động.

Bảo mật mạnh mẽ

Cung cấp cơ chế chứng thực và mã hóa cùng với danh sách kiểm soát truy cập Apache Kafka (ACL) để kiểm soát quyền truy cập của máy khách, mặc định mã hóa toàn bộ dữ liệu khách hàng.

Thanh toán linh hoạttối ưu chi phí sử dụng

Bizfly Kafka cung cấp phương thức thanh toán pay-as-you-go, người dùng, khách hàng chỉ phải chi trả cho những gì thực sự sử dụng, giúp tối ưu chi phí tài nguyên.

Quản lý tất cả trên 1 Dashboard

Khởi tạo, thiết lập cấu hình cụm, theo dõi và quản lý Metrics của topic, consumer, producer, partition chỉ trên 1 Dashboard duy nhất, từ đó sớm phát hiện các vấn đề phát sinh trong quá trình sử dụng tài nguyên. Quản lý Logging giúp theo dõi và phân tích hành vi người dùng trên website/ứng dụng.

Đảm bảo tính khả dụng cao

Có cơ chế tự động phát hiện và phản hồi các sự cố trong cả tầng hạ tầng và tầng phần mềm. Đồng thời tự động cập nhật các bản vá khi cần thiết. Kết hợp với hệ thống Multi DC và đường truyền trong nước mạnh mẽ, tính replica dữ liệu, các cụm sẽ được đảm bảo luôn trong trạng thái sẵn sàng cao nhất.

Tính năng nổi bật của Bizfly Kafka

Quản lý topic

Tạo, thêm, sửa, xóa, tìm kiếm, xem thông tin topic. Tìm kiếm, xóa, xem danh sách số lượng phân vùng message.

Quản lý ACL

Tạo, tìm kiếm, show, cấp quyền, sửa, xoá ACL của Topic, Consumer group.

Quản lý metrics monitoring

Cung cấp bộ lọc theo thời gian, bộ lọc theo Topic, Consumer theo bộ lọc thời gian.

Quản lý credential

Tạo, tìm kiếm, thêm, sửa, xóa, xem thông tin user/password. Cho phép xem danh sách ACL của topic.

Quản lý Consumer Group

Tạo, tìm kiếm, show, cấp quyền, sửa, xoá ACL của Topic, Consumer group.

Quản lý logging

Cung cấp bộ lọc theo thời gian, bộ lọc theo Topic, Consumer theo bộ lọc thời gian.

Nhu cầu sử dụng Bizfly Kafka phổ biến

Xử lý luồng dữ liệu thời gian thực

Kafka được phát triển tối ưu cho việc xử lý dữ liệu trong thời gian thực, nên được ứng dụng phổ biến nhất cho các công việc này. Mỗi khi dữ liệu được thêm mới vào topic sẽ ngay lập tức được ghi vào hệ thống và truyền đến bên nhận dữ liệu.

Ví dụ trong app đọc báo Kênh 14, Kafka được ứng dụng để triển khai cho tính năng notification. Bên gửi/schedule sẽ đẩy dữ liệu để truyền qua Kafka đến bên nhận/notify và gửi notify cho user mỗi khi có tin mới được thêm trên hệ thống. Đồng thời, dữ liệu sẽ được phân phối để lưu vào hbase, elasticsearch, lưu lịch sử để thống kê và gửi vào OS app.

Theo dõi hoạt động Website

Nếu bạn sở hữu website và muốn theo dõi hành vi người dùng nhằm phân tích và tối ưu nội dung cho trang, từ đó thu hút nhiều khách truy cập hơn, bạn có thể sử dụng Kafka khi xây dựng trang. Tất cả các dữ liệu như: lượt xem trang, hoạt động tìm kiếm và mọi hành động trên trang đều sẽ được tạo thành các topic, được ghi nhận và theo dõi thời gian thực.

Công nghệ DRM giúp bảo vệ nội dung bài giảng, tránh việc sao chép và sử dụng trái phép.

Sử dụng như một Mesage Broker

Message broker là một module trung gian trung chuyển message từ người gửi đến người nhận. Message broker được sử dụng cho mục đích tiếp nhận những message từ các ứng dụng và thực hiện một thao tác nào đó (tách, xóa message...)

Có thể sử dụng Kafka để thay thế cho các message broker truyền thống như ActiveMQ hoặc RabbitMQ. Kafka cung cấp thông lượng lớn hơn, tính phân vùng, sao chép và tính chịu lỗi tốt khiến Kafka lý tưởng cho các ứng dụng xử lý message ở quy mô lớn

Sử dụng để đo lường, phân tích

Kafka cũng được sử dụng để xây dựng nguồn dữ liệu giám sát các hoạt động. Số liệu thống kê từ các nguồn phân tán trên trang sẽ được tập hợp thành một nguồn tập trung, nhất quán, giúp việc đo lường, phân tích dễ dàng, nhanh chóng hơn bao giờ hết.

Sử dụng để ghi nhật ký hoạt động

Tổng hợp log hay nhật ký hoạt động là một cách sử dụng Kafka cũng khá phổ biến. Kafka tổng hợp thông tin các sự kiện từ các nguồn khác nhau và cung cấp bản ghi rõ ràng về dữ liệu sự kiện nhằm phục vụ xử lý về sau hiệu quả và tối ưu.