Hàm mất mát trong học máy

Trong các bài trước, chúng ra đã thảo luận về khái niệm Parameterized Learning. Kiểu học này cho phép chúng ra lấy các bộ dữ liệu đầu vào và nhãn và thực sự xác định một hàm ánh xạ đầu vào và dự đoán đầu ra bằng cách xác định một tập hợp các tham số và tối ưu hóa chúng.

Nhưng để thực sự học được thì trước tiên phải học cách ánh xạ từ dữ liệu đầu vào sang nhãn thông qua hàm tính điểm, chúng ta sẽ thảo luận về hai khái niệm quan trọng: Hàm mất mát và phương pháp tối ưu hóa.

Phần còn lại của bài này dành riêng cho các hàm mất mát thông dụng mà chúng ta gặp khi xây dựng mạng lưới thần kinh và mạng lưới học tập sâu. Một lần nữa, bài này sẽ là một đánh giá ngắn gọn về các hàm mất và vai trò của chúng trong Parameterized Learning. Một cuộc thảo luận kỹ lưỡng về các hàm mất mát sẽ nằm ngoài phạm vi của bài này và chúng ta được khuyến khích khóa học Andrew Ng trên Coursera nếu bạn muốn bổ sung cho bài này một cách chặt chẽ hơn về mặt toán học đạo hàm.

Hàm mất mát là gì?

Ở mức cơ bản nhất, một hàm mát mất định lượng mức độ tốt hoặc tệ như thế nào phân loại các điểm dữ liệu đầu vào trong một tập dữ liệu. Một trực quan hóa các hàm mất mát được vẽ theo thời gian cho hai mô hình riêng biệt được đào tạo trên bộ dữ liệu CIFAR-10 được hiển thị trong hình trên. Hàm mất mát càng nhỏ, công việc phân loại càng tốt trong việc mô hình hóa mối quan hệ giữa dữ liệu đầu vào và nhãn lớp đầu ra (mặc dù có một điểm mà chúng ta có thể điều chỉnh quá mức mô hình của mình - bằng cách mô hình hóa đào tạo dữ liệu quá chặt chẽ, mô hình của chúng ta mất khả năng khái quát hóa, một hiện tượng chúng tôi sẽ thảo luận trong chi tiết trong các bài sau). Ngược lại, tổn thất của chúng ta càng lớn, càng cần phải làm nhiều việc hơn để tăng phân loại chính xác.
Để cải thiện độ chính xác phân loại của chúng ra, chúng ra cần điều chỉnh các tham số của ma trận trọng số của chúng ta W hoặc vectơ sai lệch b. Chính xác thì cách chúng ta tiến hành cập nhật các tham số này là tối ưu hóa vấn đề, mà chúng ra sẽ đề cập trong các bài tiếp theo. Hiện tại, chỉ cần hiểu rằng hàm mất mát có thể được sử dụng để định lượng chức năng ghi điểm của chúng ta hoạt động tốt như thế nào khi phân loại đầu vào điểm dữ liệu.
Lý tưởng nhất là tổn thất của chúng ta sẽ giảm theo thời gian khi chúng ta điều chỉnh các tham số mô hình. Như hình trên chứng tỏ, sự mất mát của mô hình bắt đầu cao hơn một chút so với mô hình còn lại, nhưng sau đó giảm nhanh chóng và tiếp tục ở mức thấp khi được đào tạo về bộ dữ liệu CIFAR-10. Ngược lại, mất mát cho mô hình còn lại
giảm ban đầu nhưng nhanh chóng đình trệ. Trong ví dụ cụ thể này, mô ban đầu đang đạt được mức thấp hơn mất tổng thể và có khả năng là một mô hình mong muốn hơn sẽ được sử dụng để phân loại các hình ảnh khác từ tập dữ liệu CIFAR-10. Chúng ta nói "có khả năng" bởi vì có khả năng mô hình ban dầu đã phù hợp với việc đào tạo
dữ liệu. Chúng tôi sẽ đề cập đến khái niệm quá mức này và cách phát hiện ra nó trong các bài tiếp theo.

SVM Loss với nhiều nhãn

SVM Loss với nhiều nhãn (như tên cho thấy) được lấy cảm hứng từ SVM sử dụng hàm f để ánh xạ các điểm dữ liệu của chúng ta thành điểm số cho từng điểm số
nhãn lớp. Hàm f này là một ánh xạ học tập đơn giản : f(x_i;W;b) = W x_i + b

Bây giờ chúng ta đã có hàm chấm điểm của mình, chúng ta cần xác định tốt và tệ của hàm này như thế nào (đưa ra ma trận trọng số W và vectơ sai lệch b) khi đưa ra dự đoán. Để đưa ra quyết định này, chúng ta cần một hàm mất.
Hãy nhớ lại rằng khi tạo một mô hình học máy, chúng ta có một ma trận X, trong đó mỗi hàng trong mô hình X chứa một điểm dữ liệu mà chúng ta muốn phân loại. Trong bối cảnh phân loại hình ảnh, mỗi hàng trong X là một hình ảnh và chúng ta tìm cách gắn nhãn chính xác cho hình ảnh này. Chúng ta có thể truy cập hình ảnh thứ i bên trong
X qua cú pháp x_i.
Tương tự, chúng ta cũng có một vectơ y chứa nhãn lớp của chúng ta cho mỗi X. Các giá trị y này là các nhãn thực tế của chúng ta và những gì chúng ta hy vọng hàm ghi điểm của chúng ta sẽ dự đoán chính xác. Giống như chúng ta có thể truy cập một hình ảnh nhất định dưới dạng x_i, chúng ta có thể truy cập nhãn lớp liên quan thông qua y_i.
Để đơn giản hóa, hãy viết tắt chức năng ghi điểm của chúng tôi là s: s = f(x_i;W)

Điều đó ngụ ý rằng chúng ta có thể đạt được số điểm dự đoán của lớp thứ j thông qua điểm dữ liệu thứ i: s_j = f (x_i;W)_j

Sử dụng cú pháp này, chúng ta có thể kết hợp tất cả lại với nhau, có được hinge loss function. Nhìn vào phương trình hinge loss function ở trên, chún ta có thể bối rối về những gì nó thực sự làm. Về cơ bản, hàm mất bản lề đang tổng hợp trên tất cả các lớp không chính xác và so sánh đầu ra của hàm ghi điểm của chúng tôi được trả về cho nhãn lớp j-th (lớp không chính xác) và y_i-th lớp (đúng lớp). Chúng ta áp dụng hoạt động tối đa để kẹp các giá trị ở mức 0, điều này rất quan trọng đối với
đảm bảo chúng tôi không tổng các giá trị âm.
Một x_i đã cho được phân loại chính xác khi mất L_i = 0 (chúng ta cung cấp một ví dụ bằng số trong phần sau). Để rút ra mất mát trong toàn bộ tập huấn luyện của chúng ta, chúng ta chỉ đơn giản là lấy trung bình mỗi số L_i. Thuật ngữ bình phương trừng phạt sự mất mát của chúng ta nặng nề hơn bằng cách bình phương đầu ra, dẫn đến
tăng trưởng bậc hai trong mất mát trong một dự đoán không chính xác (so với tăng trưởng tuyến tính).
Đối với chức năng mất nào bạn nên sử dụng, điều đó hoàn toàn phụ thuộc vào tập dữ liệu của bạn. Nó là điển hình để thấy hàm mất mát bản lề tiêu chuẩn được sử dụng nhiều hơn, nhưng trên một số bộ dữ liệu, biến thể bình phương có thể có được độ chính xác tốt hơn. Nhìn chung, đây là một siêu tham số mà bạn nên xem xét điều chỉnh.

Bây giờ, chúng tôi đã xem xét toán học đằng sau sự mất bản lề, hãy để xem xét một ví dụ hoạt động. Một lần nữa, chúng ta lại sử dụng bộ dữ liệu của Động vật trên động vật nhằm mục đích phân loại một hình ảnh nhất định có chứa một mèo, chó, hoặc gấu trúc. Để bắt đầu, hãy xem hình dưới nơi chúng ta đã bao gồm ba ví dụ đào tạo
từ ba lớp của bộ dữ liệu động vật trên mạng động vật.
Cho một số ma trận trọng số tùy ý W và vectơ sai lệch b, điểm đầu ra của f (x; W) = W x + b được hiển thị trong phần thân của ma trận. Điểm càng lớn, chúng ta càng tự tin chức năng chấm điểm liên quan đến dự đoán.

Lưu ý cách phương trình của chúng ta ở đây bao gồm hai thuật ngữ - sự khác biệt giữa dự đoán điểm chó và cả điểm mèo và gấu trúc. Ngoài ra, hãy quan sát mức độ mất mát đối với con chó của con chó bằng 0 - điều này ngụ ý rằng con chó đã được dự đoán chính xác. Một cuộc điều tra nhanh về Hình ảnh # 1 từ hình dưới
chứng minh kết quả này là đúng: điểm số của chú chó Chó lớn hơn cả điểm số của chú mèo và chú gấu trúc.

Trong trường hợp này, hàm mất mát của chúng tôi lớn hơn 0, cho thấy dự đoán của chúng tôi không chính xác. Nhìn vào chức năng chấm điểm của chúng tôi, chúng ta thấy rằng mô hình của chúng tôi dự đoán con chó là nhãn được đề xuất với điểm số 3:76 (vì đây là nhãn hiệu có số điểm cao nhất). Chúng ta biết rằng nhãn này không chính xác - và trong các bài tiếp theo, chúng ta sẽ học cách tự động điều chỉnh các trọng số của mình để sửa các dự đoán này.

Một lần nữa, mất mát của chúng ta là khác không, vì vậy chúng ta biết rằng chúng tôi có một dự đoán không chính xác. Nhìn vào điểm số của chúng ta, mô hình của chúng ta đã gắn nhãn không chính xác cho hình ảnh này là Mèo mèo khi nó phải là gấu trúc gấu trúc.

Cũng lưu ý rằng hàm mất mát của chúng ta bằng 0 chỉ với một trong ba hình ảnh đầu vào, ngụ ý rằng hai dự đoán của chúng tôi là không chính xác. Trong chương tiếp theo, chúng ta sẽ học cách tối ưu hóa W và b để thực hiện dự đoán tốt hơn bằng cách sử dụng chức năng mất để giúp lái xe và điều khiển chúng ta đi đúng hướng

Chúc bạn thành đạt trong công việc và hạnh phúc trong cuộc sống !

Hotline / Zalo: 0903 666 014

Website: https://uniduc.com/vi

-------------////--------------------------------------------////------------

HUMANOID ROBOT CỦA CÔNG TY UNIDUC SẢN XUẤT PHÁT TRIỂN.