
Về Bizfly Kafka
Kafka là hệ thống phân phối message publish/subcribe (distributed messaging system). Bên publish dữ liệu được gọi là producer hay người gửi, bên subscribe nhận dữ liệu theo topic được gọi là consumer hay người nhận.
Kafka có khả năng truyền tải 1 khối lượng vô cùng lớn các message theo thời gian thực, trong trường hợp bên nhận chưa nhận, message vẫn được lưu trữ sao lưu trên một queue và cả trên ổ đĩa an toàn. Đồng thời cũng được replicate trong cluster để phòng tránh mất dữ liệu.
Trong quá trình phát triển website, ứng dụng, có thể xảy ra việc lượng message cần xử lý tăng lên quá nhiều dẫn đến các data pipeline trở nên vô cùng phức tạp để quản lý và vận hành. Kafka với năng lực phân phối tuyệt vời kể trên sẽ được ứng dụng để xử lý cho các tình huống này. Tuy nhiên, để triển khai 1 hệ thống như vậy sẽ cần rất nhiều thời gian, nguồn lực, tài nguyên và chi phí.
Thiết lập sẵn sàng để triển khai ngay lập tức, với Bizfly Kafka, developer dễ dàng sử dụng Apache Kafka để giao tiếp xử lý dữ liệu theo thời gian thực trong các hệ thống mà không cần phải quản lý hay cài đặt server. Các tài nguyên sẽ được tự động cung cấp và quản lý, mở rộng quy mô ứng dụng khi khối lượng streaming data thay đổi hoàn toàn tự động, không cần thao tác thủ công, giúp bạn tập trung tối đa thời gian, công sức cho phát triển sản phẩm, tính năng cốt lõi.
Tại sao nên sử dụng Bizfly Kafka của Bizfly Cloud
Giảm thiểu hoặc không có chi phí dành cho nguồn nhân lực, thiết bị, máy móc, phần cứng đắt đỏ khi tự xây dựng, quản lý, đo lường... một hệ thống xử lý dữ liệu thời gian thực.
Bizfly Kafka sẽ tự động nâng cấp phiên bản trên các cụm đang chạy để duy trì tính khả dụng của I/O, giúp người dùng chủ động lựa chọn tính năng và sửa lỗi trong các phiên bản Apache Kafka mới.
Tự động tăng số lượng broker cũng như dung lượng lưu trữ cho mỗi broker, đáp ứng các nhu cầu throughput khác nhau, đồng thời đảm bảo khả năng lưu trữ và xử lý khối lượng lớn dữ liệu ở tốc độ cao.
quản lý cluster
Người dùng chỉ cần truy cập Dashboard của Bizfly Kafka và sử dụng ngay lập tức. Các công việc quy định, điều chỉnh cấu hình, quản lý hoạt động các cụm sẽ được thực hiện hoàn toàn tự động.
tối ưu chi phí sử dụng
Bizfly Kafka cung cấp phương thức thanh toán pay-as-you-go, người dùng, khách hàng chỉ phải chi trả cho những gì thực sự sử dụng, giúp tối ưu chi phí tài nguyên.
Cung cấp cơ chế chứng thực và mã hóa cùng với danh sách kiểm soát truy cập Apache Kafka (ACL) để kiểm soát quyền truy cập của máy khách, mặc định mã hóa toàn bộ dữ liệu khách hàng.
Khởi tạo, thiết lập cấu hình cụm, theo dõi và quản lý Metrics của topic, consumer, producer, partition chỉ trên 1 Dashboard duy nhất, từ đó sớm phát hiện các vấn đề phát sinh trong quá trình sử dụng tài nguyên. Quản lý Logging giúp theo dõi và phân tích hành vi người dùng trên website/ứng dụng.
Có cơ chế tự động phát hiện và phản hồi các sự cố trong cả tầng hạ tầng và tầng phần mềm. Đồng thời tự động cập nhật các bản vá khi cần thiết. Kết hợp với hệ thống Multi DC và đường truyền trong nước mạnh mẽ, tính replica dữ liệu, các cụm sẽ được đảm bảo luôn trong trạng thái sẵn sàng cao nhất.
Tính năng nổi bật của Dashboard Bizfly Kafka
Quản lý topic
Tạo, thêm, sửa, xóa, tìm kiếm, xem thông tin topic. Tìm kiếm, xóa, xem danh sách số lượng phân vùng message.
Quản lý credential
Tạo, tìm kiếm, thêm, sửa, xóa, xem thông tin user/password. Cho phép xem danh sách ACL của topic.
Quản lý ACL
Tạo, tìm kiếm, show, cấp quyền, sửa, xoá ACL của Topic, Consumer group.
Quản lý Consumer Group
Tạo, tìm kiếm, thêm, sửa (Tên, topics, số lượng phân vùng, offset), xóa, em danh sách Consumer group.
Quản lý metrics monitoring
Cung cấp bộ lọc theo thời gian, bộ lọc theo Topic, Consumer theo bộ lọc thời gian.
Quản lý logging
Cung cấp bộ lọc theo thời gian, bộ lọc theo Topic, Consumer theo bộ lọc thời gian.

Bảng giá
Thông số | Giá trị | Số giờ | Thành tiền (VNĐ) |
---|---|---|---|
Partition | 1 | 1 | 31.05 |
Storage | 1 (Gb) | 1 | 2.88 |
Data In (Tính theo rate tranfer) |
1 (Gb) | 2,070 | |
Data Out (Tính theo rate tranfer) |
1 (Gb) | 1,035 |
Giả sử bạn tạo 1 topic có 5 partitions (replica = 2 thì topic đó sẽ là 10 partitions),
bạn đẩy vào 100 Gb data, sử dụng để lưu trữ dữ liệu và duy trì trong 1 tháng,
thì Data In sẽ là 100 * 2,070,
và bạn consume ra khoảng 200 Gb data
Biểu phí cho 1 tháng sẽ được tính như dưới đây:
Thông số | Định mức sử dụng | Tính phí | Thành tiền (VNĐ) (Chưa bao gồm 10% VAT) |
---|---|---|---|
Partition (tính theo giờ) | 10 partitions * 24h * 30 ngày | 31.05 * 10 * 720 | 223,560 |
Storage | 1Gb * 24h * 30 ngày | 2.88 * 1 * 720 | 2,073.6 |
Data In | 2,070 * 100 | 2,070 * 100 | 207,000 |
Data Out | 1,035 * 200 | 1,035 * 200 | 207,000 |