Autoencoder là gì? Kiến trúc và cách tạo Autoencoder

Bizfly Cloud

1366

26-05-2022

Nếu như công việc của bạn làm về xử lý hình ảnh, chắc chắn rằng bạn sẽ gặp phải một số bài toán về giảm nhiễu ảnh, tái tạo ảnh, làm sáng ảnh hay giảm chiều dữ liệu… Để giải quyết những bài toán trên, bạn có thể sử dụng nhiều phương pháp khác nhau để xử lý, và một trong số đó chính là kỹ thuật Autoencoder. 

Vậy Autoencoder là gì? Kiến trúc của nó bao gồm những thành phần nào? Bài viết dưới đây, Bizfly Cloud sẽ chia sẻ cho bạn những thông tin hữu ích nhất về loại kỹ thuật này.

Autoencoder là gì?

Autoencoder là một loại mạng neural nhân tạo được sử dụng để học các loại mã hóa dữ liệu không giám sát (unsupervised learning). Nói cách khác giả sử từ một hình ảnh bạn hoàn toàn có thể tái tạo ra một bức ảnh có liên quan với bức ảnh đầu vào đó một cách chặt chẽ.

Mục đích của Autoencoder là học cách biểu diễn chiều nhỏ hơn (mã hóa) cho dữ liệu có chiều cao hơn. Đây cũng là lý do mà Autoencoder thường được dùng cho các bài toán giảm chiều dữ liệu hay trích xuất đặc trưng.

Ngoài ra, Autoencoder còn có thể được sử dụng với chức năng tạo ra các mô hình học tập trung (Generative learning models).

Kiến trúc của Autoencoder

Kiến trúc của Autoencoder bao gồm 3 phần chính: Encoder, Bottleneck, Decoder… Cụ thể như sau:

• Encoder (bộ mã hóa): Một module có chức năng nén dữ liệu đầu vào của bộ kiểm tra xác thực thành một biểu diễn được mã hóa. Thông thường nó sẽ nhỏ hơn một vài bậc so với dữ liệu đầu vào.
• Bottleneck: Một module chứa các biểu diễn tri thức đã được nén hay còn gọi là output của Encoder, đây là phần quan trọng nhất trong mạng vì nó mang đặc trưng của dữ liệu đầu vào, có thể sử dụng để lấy đặc trưng của ảnh, tái tạo hình ảnh…
• Decoder (bộ giải mã): Module hỗ trợ mạng giải nén các biểu diễn tri thức và tái tạo lại cấu trúc dữ liệu từ dạng mã hóa của nó. Mô hình học dựa theo việc so sánh đầu ra của Decoder với đầu vào bạn đầu của nó.

Mối quan hệ giữa Encoder, Bottleneck và Decoder

Mối quan hệ giữa Encoder, Bottleneck và Decoder:

• Encoder

Encoder (bộ mã hóa) là một tập hợp bao gồm các khối tích hợp theo sau là các modules dùng để nén đầu vào của mô hình thành một phần nhỏ gọn được gọi là bottleneck.

Bottleneck là bộ giải mã bao gồm một loạt các upsampling modules hỗ trợ đưa tính năng nén trở lại dưới dạng hình ảnh. Trong trường hợp mã tự động đơn giải, đầu ra được mong đợi giống với đầu vào.

Ngoài ra, đối với các mã tự động mã hóa biến thể thì đầu ra sẽ cho ra một hình ảnh hoàn toàn mới được hình thành với thông tin mà mô hình đã được cung cấp làm dữ liệu đầu vào.

• Bottleneck

Đây là phần quan trọng nhất trong mạng neural và cũng là phần nhỏ nhất. Nó giúp hạn chế luồng thông tin đến bộ giải mã từ bộ mã hóa, vì thế, bottleneck chỉ cho phép thông tin quan trọng nhất đi qua.

Bottleneck được thiết kế theo cách mà thông tin tối đa mà một hình ảnh sở hữu. Nó giúp thiết lập biểu diễn tri thức của dữ liệu đầu vào.

Do đó, cấu trúc của bộ mã hóa-giải mã (encoder-decoder) sẽ giúp bạn trích xuất nhiều nhất thông tin từ một hình ảnh dưới dạng dữ liệu và thiết lập các mối tương quan hữu ích giữa những đầu vào khác nhau trong mạng.

Bottleneck như một biểu diễn nén của đầu vào, nó ngăn cản mạng neural ghi nhớ dữ liệu đầu vào và trang bị quá nhiều trên dữ liệu. Đặc biệt, bottleneck càng nhỏ thì nguy cơ quá tải càng thấp.

• Decoder

Decoder (bộ giải mã) là một tập hợp bao gồm các khối lấy mẫu và tích tụ để tái tạo lại đầu ra của bottleneck.

Do đầu vào cho bộ giải mã là một biểu diễn tri thức đã được nén nên bộ giải mã đóng vai trò như một "bộ giải nén" và thiết lập lại hình ảnh từ các thuộc tính tiềm ẩn của nó.

Làm thế nào để tạo Autoencoder

Để tạo Autoencoder bạn cần cài đặt 4 siêu tham số đó là:

• Code size: Kích thước mã hay còn gọi là kích thước của Bottleneck là một siêu tham số quan trọng nhất được sử dụng để điều chỉnh mã hóa tự động mà bạn cần lưu ý. Kích thước của Bottleneck sẽ quyết định có bao nhiêu thông tin được nén.
• Number of layers (số lớp): Tương tự như hầu hết các mạng neural, một siêu tham số quan trọng để điều chỉnh độ sâu của encoder và decoder trong Autoencoder. Trong đó độ sâu cao hơn thì càng làm tăng độ phức tạp của mô hình, độ sâu thấp hơn thì mô hình càng được xử lý nhanh hơn.
• Number of nodes per layer (số lượng nút trên mỗi lớp): Số lượng nút trên một layer sẽ quyết định trọng số sẽ sử dụng trên từng lớp. Thông thường, số lượng các nút sẽ giảm dần theo mỗi lớp tiếp theo do đầu vào của lớp này là đầu ra của lớp trước đó và trên các lớp đầu vào cũng sẽ dần trở nên nhỏ hơn.
• Reconstruction Loss (mất tái tạo): Loss Function là một chức năng quan trọng không thể thiếu trong mạng neural. Hàm loss này sẽ phụ thuộc vào kiểu output và input của mô hình mà người dùng muốn đáp ứng. Ví dụ: Trong việc xử lý hình ảnh, những hàm loss thông thường được ưa chuộng là MSE (Mean Square Error) và L1 Loss. Ngoài ra trong một vài trường hợp ảnh nhị phân (MNIST), bạn cũng có thể sử dụng Binary cross entropy sẽ mang lại hiệu quả tốt hơn.

Tổng kết lại Autoencoder

Tổng kết về Autoencoder :

Autoencoder là một mạng ANN có khả năng học một cách hiệu quả các biểu diễn của dữ liệu đầu vào mà không cần dùng nhãn, điều này có nghĩa là mạng có khả năng học không cần giám sát.

Autoencoder bao gồm 3 thành phần chính là: Encoder (bộ mã hóa), Bottleneck và Decoder (bộ giải mã). Các thành phần này đều có mối liên quan, hỗ trợ lẫn nhau trong quá trình mã hóa và giải mã dữ liệu.

Tóm lại đây chính là một phương pháp mà bạn nên sử dụng trong quá trình xử lý hình ảnh, ngôn ngữ và lĩnh vực khác trong cuộc sống.

Có thể thấy Autoencoder là một nhóm kiến trúc mạng thần kinh khá thú vị trong nhiều lĩnh vực khác nhau như xử lý ngôn ngữ tự nhiên, thị giác máy tính và xử lý hình ảnh. Mặc dù hiện nay có rất nhiều những mô hình khác được sử dụng cho việc học biểu diễn, thì Autoencoder vẫn là một lựa chọn tốt cho nhiều vấn đề khác nhau. Chắc chắn rằng với những thông tin mà Bizfly Cloud cung cấp, bạn đã hiểu được thế nào là Autoencoder cũng như lợi ích mà nó mang lại cho công việc của mình.