Data fabric là gì? Tổng quan về Kết cấu dữ liệu

1894
10-08-2022
Data fabric là gì? Tổng quan về Kết cấu dữ liệu

Trong vài năm qua, thuật ngữ “Data fabric” hay “Kết cấu dữ liệu” đã trở thành đồng nghĩa với tích hợp và quản lý dữ liệu doanh nghiệp. Gartner cho rằng “data fabric” là “Xu hướng công nghệ chiến lược hàng đầu cho năm 2022” và dự đoán rằng vào năm 2024, 25% nhà cung cấp quản lý dữ liệu sẽ cung cấp một khung hoàn chỉnh cho Kết cấu dữ liệu - tăng từ 5% hiện nay.

Kết cấu dữ liệu được thiết kế để giúp các tổ chức giải quyết các vấn đề phức tạp về dữ liệu và các trường hợp sử dụng bằng cách quản lý dữ liệu của họ — bất kể các loại ứng dụng, nền tảng và vị trí khác nhau nơi dữ liệu được lưu trữ. Kết cấu dữ liệu cho phép truy cập dễ dàng và chia sẻ dữ liệu trong môi trường dữ liệu phân tán.

Data fabric là gì?

Data fabric hay Kết cấu dữ liệu là một kiến trúc tạo điều kiện cho việc tích hợp đầu cuối của các đường ống dữ liệu khác nhau và các môi trường đám mây thông qua việc sử dụng các hệ thống thông minh và tự động. Trong thập kỷ qua, sự phát triển trong đám mây lai, trí tuệ nhân tạo, Internet vạn vật (IoT) và điện toán biên đã dẫn đến sự phát triển theo cấp số nhân của dữ liệu lớn, tạo ra sự phức tạp hơn cho các doanh nghiệp trong việc quản lý. Điều này đã làm cho việc thống nhất và quản trị môi trường dữ liệu trở thành ưu tiên ngày càng tăng vì sự tăng trưởng này đã tạo ra những thách thức đáng kể, chẳng hạn như các kho chứa dữ liệu, rủi ro bảo mật và các nút thắt chung đối với việc ra quyết định.

Các nhóm quản lý dữ liệu đang giải quyết những thách thức này bằng các giải pháp kết cấu dữ liệu (data fabric). Họ đang tận dụng chúng để hợp nhất các hệ thống dữ liệu khác nhau, nhúng quản trị, tăng cường các biện pháp bảo mật và quyền riêng tư, đồng thời cung cấp nhiều khả năng truy cập dữ liệu hơn cho người lao động, đặc biệt là người dùng doanh nghiệp của họ.

Data fabric là gì? Tổng quan về Kết cấu dữ liệu - Ảnh 1.

Gartner: Một kết cấu dữ liệu kết hợp với dữ liệu tích hợp từ nhiều nguồn khác nhau và cung cấp dữ liệu đó cho những người nhận dữ liệu khác nhau.

Những nỗ lực tích hợp dữ liệu này thông qua các kết cấu dữ liệu cho phép đưa ra quyết định toàn diện hơn, tập trung vào dữ liệu. Về mặt lịch sử, một doanh nghiệp có thể có các nền tảng dữ liệu khác nhau phù hợp với các ngành kinh doanh cụ thể. Ví dụ: bạn có thể có nền tảng dữ liệu nhân sự, nền tảng dữ liệu chuỗi cung ứng và nền tảng dữ liệu khách hàng, nền tảng này chứa dữ liệu trong các môi trường khác nhau và riêng biệt mặc dù có thể có sự chồng chéo. Tuy nhiên, kết cấu dữ liệu có thể cho phép những người ra quyết định xem dữ liệu này một cách chặt chẽ hơn để hiểu rõ hơn về vòng đời của khách hàng, tạo kết nối giữa các dữ liệu không tồn tại trước đây. Bằng cách thu hẹp những khoảng cách này trong hiểu biết về khách hàng, sản phẩm và quy trình, các kết cấu dữ liệu đang thúc đẩy các sáng kiến tự động hóa và chuyển đổi kỹ thuật số trong các doanh nghiệp.

Kiến trúc kết cấu dữ liệu (Data fabric)

Không có một kiến trúc dữ liệu duy nhất cho một kết cấu dữ liệu vì các doanh nghiệp khác nhau có nhu cầu khác nhau. Số lượng các nhà cung cấp đám mây và triển khai cơ sở hạ tầng dữ liệu khác nhau đảm bảo sự khác biệt giữa các doanh nghiệp. Tuy nhiên, các doanh nghiệp sử dụng loại khung dữ liệu này thể hiện những điểm chung trên các kiến trúc của họ, những điểm chung duy nhất đối với một kết cấu dữ liệu. Cụ thể hơn, chúng có sáu thành phần cơ bản bao gồm:

1. Data management layer: Đây là lớp chịu trách nhiệm quản trị dữ liệu và bảo mật dữ liệu.

2. Data Ingestion layer: Lớp này bắt đầu kết hợp dữ liệu đám mây với nhau, tìm kiếm các kết nối giữa dữ liệu có cấu trúc và phi cấu trúc.

3. Data processing: Lớp xử lý dữ liệu sẽ tinh chỉnh dữ liệu để đảm bảo rằng chỉ dữ liệu có liên quan mới được hiển thị để trích xuất dữ liệu.

4. Data Orchestration: Lớp quan trọng này tiến hành một số công việc quan trọng nhất đối với kết cấu dữ liệu — chuyển đổi, tích hợp và làm sạch dữ liệu, giúp cho các nhóm trên toàn doanh nghiệp có thể sử dụng được.

5. Data Discovery: Lớp này hiển thị các cơ hội mới để tích hợp các nguồn dữ liệu khác nhau. Ví dụ: nó có thể tìm cách kết nối dữ liệu trong chuỗi cung ứng data mart và hệ thống dữ liệu quản lý quan hệ khách hàng, tạo cơ hội mới cho việc cung cấp sản phẩm cho khách hàng hoặc các cách để cải thiện sự hài lòng của khách hàng.

6. Data Access: Lớp này cho phép tiêu thụ dữ liệu, đảm bảo quyền phù hợp cho các nhóm nhất định để tuân thủ các quy định của chính phủ. Ngoài ra, lớp này giúp hiển thị dữ liệu có liên quan thông qua việc sử dụng trang tổng quan và các công cụ trực quan hóa dữ liệu khác.

Data fabric là gì? Tổng quan về Kết cấu dữ liệu - Ảnh 2.

Kiến trúc kết cấu dữ liệu (Data fabric)

Các trường hợp sử dụng Data fabric (Kết cấu dữ liệu)

Trong hoạt động của doanh nghiệp, có rất nhiều trường hợp sử dụng yêu cầu cấu trúc dữ liệu tốc độ cao, quy mô lớn có khả năng hỗ trợ hàng nghìn giao dịch đồng thời. Ví dụ:

  • Cung cấp cái nhìn 360 độ về khách hàng: Chân dung khách hàng toàn diện cho IVR tự phục vụ, CRM, cổng tự phục vụ của khách hàng (web hoặc di động), chatbot và kỹ thuật viên
  • Tuân thủ luật bảo mật dữ liệu: Với quy trình làm việc linh hoạt và giải pháp tự động hóa dữ liệu điều phối sự tuân thủ giữa mọi người, hệ thống và dữ liệu - được thiết kế để giải quyết các quy định hiện tại và tương lai
  • Liên kết dữ liệu doanh nghiệp vào các data lake và data warehouse: Cho phép các kỹ sư dữ liệu chuẩn bị và cung cấp dữ liệu mới, đáng tin cậy từ tất cả các nguồn, đến tất cả các mục tiêu một cách nhanh chóng và quy mô
  • Cung cấp dữ liệu thử nghiệm theo yêu cầu: Tạo kho dữ liệu thử nghiệm và cung cấp dữ liệu thử nghiệm ẩn danh cho người thử nghiệm và đường ống CI/CD tự động và nhanh chóng với tính toàn vẹn của dữ liệu
  • Hiện đại hóa các hệ thống kế thừa: Di chuyển an toàn dữ liệu từ các hệ thống kế thừa sang kết cấu dữ liệu, sau đó sử dụng kết cấu này làm cơ sở dữ liệu hồ sơ cho các ứng dụng mới được phát triển
  • Bảo mật các giao dịch thẻ tín dụng: Bảo vệ thông tin nhạy cảm của chủ thẻ bằng cách mã hóa và token dữ liệu gốc để tránh vi phạm dữ liệu.
  • Dự đoán tình trạng gián đoạn, phát hiện gian lận của khách hàng, chấm điểm tín dụng, v.v.

Ưu điểm của Data fabric Architecture (kiến trúc kết cấu dữ liệu)

Data fabric là gì? Tổng quan về Kết cấu dữ liệu - Ảnh 3.

Khi các doanh nghiệp áp dụng data fabric rộng rãi hơn, Gartner đã ghi nhận những cải tiến hiệu quả cụ thể, rằng nó có thể giảm “thời gian thiết kế tích hợp xuống 30%, triển khai 30% và bảo trì 70%.” Mặc dù rõ ràng rằng các loại kết cấu dữ liệu có thể cải thiện năng suất tổng thể, nhưng những lợi ích sau đây cũng đã chứng minh giá trị kinh doanh cho những người sử dụng:

- Tích hợp thông minh: Các kết cấu dữ liệu sử dụng các semantic knowledge graph (biểu đồ tri thức ngữ nghĩa), quản lý siêu dữ liệu và học máy để thống nhất dữ liệu trên nhiều loại dữ liệu và điểm cuối khác nhau. Điều này hỗ trợ các nhóm quản lý dữ liệu trong việc nhóm các bộ dữ liệu liên quan lại với nhau cũng như tích hợp các nguồn dữ liệu ròng mới vào hệ sinh thái dữ liệu của doanh nghiệp. Chức năng này tự động hóa các khía cạnh của quản lý khối lượng công việc dữ liệu, dẫn đến tăng hiệu quả đã nói ở trên. Nhưng nó cũng giúp loại bỏ các lỗ hổng trên các hệ thống dữ liệu, tập trung hóa các phương pháp quản trị dữ liệu và cải thiện chất lượng dữ liệu tổng thể.

- Dân chủ hóa dữ liệu: Các kiến trúc kết cấu dữ liệu tạo điều kiện thuận lợi cho các ứng dụng tự phục vụ, mở rộng quyền truy cập dữ liệu ngoài nhiều tài nguyên kỹ thuật hơn, chẳng hạn như kỹ sư dữ liệu, nhà phát triển và nhóm phân tích dữ liệu. Việc giảm tắc nghẽn dữ liệu sau đó sẽ thúc đẩy năng suất cao hơn, cho phép người dùng doanh nghiệp đưa ra quyết định kinh doanh nhanh hơn và bằng cách giải phóng người dùng kỹ thuật để ưu tiên các nhiệm vụ sử dụng tốt hơn bộ kỹ năng của họ.

- Bảo vệ dữ liệu tốt hơn: Việc mở rộng quyền truy cập dữ liệu cũng không có nghĩa là làm ảnh hưởng đến các biện pháp bảo mật và quyền riêng tư của dữ liệu. Trên thực tế, điều đó có nghĩa là ngày càng có nhiều rào chắn quản trị dữ liệu xung quanh các kiểm soát truy cập, đảm bảo dữ liệu cụ thể chỉ có sẵn cho một số vai trò nhất định. Kiến trúc kết cấu dữ liệu cũng cho phép các nhóm kỹ thuật và bảo mật triển khai mã hóa dữ liệu nhạy cảm và độc quyền, giảm thiểu rủi ro việc chia sẻ dữ liệu và vi phạm hệ thống.


Không có gì đáng ngạc nhiên khi kiến trúc dữ liệu - một trong những lĩnh vực kinh doanh phát triển nhanh nhất, thường đòi hỏi một sự cải tiến. Khi nói đến việc lưu trữ, truy cập và sử dụng dữ liệu, hầu như không ai có thể theo kịp. Tuy nhiên, một cách tiếp cận ngày càng phổ biến để giải quyết quy mô là tự động hóa, mà các kết cấu dữ liệu cung cấp cho các chức năng thiết yếu như quản trị, bảo vệ dữ liệu và tích hợp,... Giờ đây, các tổ chức đang áp dụng các công nghệ như data lake, data warehouse và các công nghệ khác, nên bổ sung cách tiếp cận data fabric trước khi tổ chức của bạn phát triển hơn nữa.

SHARE