Deep Learning là một ngành hẹp của học máy(ML), và do đó cũng là một ngành hẹp của trí tuệ nhân tạo(AI). Mục tiêu trọng tâm của AI là cung cấp một tập hợp các thuật toán và kỹ thuật có thể được sử dụng để giải quyết vấn đề mà con người thực hiện bằng trực giác và gần như tự động, nhưng với máy tính thì lại rất thử thách. Một ví dụ tuyệt vời về một loại vấn đề AI như vậy là việc hiểu nội dung của một hình ảnh - nhiệm vụ này là điều mà con người có thể làm với rất ít nỗ lực, nhưng nó đã được chứng minh là cực kỳ khó khăn để máy móc thực hiện.

Mạng nơ ron nhân tạo (ANN) là một lớp các thuật toán học máy học từ dữ liệu và chuyên về nhận dạng mẫu, lấy cảm hứng từ cấu trúc và chức năng của não. Như
đã biết, Deep learning thuộc về các thuật toán ANN, và trong hầu hết các trường hợp, cả hai thuật ngữ có thể được sử dụng thay thế cho nhau. Trong thực tế, bạn có thể ngạc nhiên khi biết rằng lĩnh vực học tập sâu đã tồn tại hơn 60 năm, với những cái tên khác nhau dựa trên nghiên cứu xu hướng, phần cứng và bộ dữ liệu có sẵn và các tùy chọn phổ biến của các nhà nghiên cứu nổi tiếng tại thời điểm đó.

Trong phần còn lại của bài viết này, tôi sẽ cung cấp một lịch sử ngắn gọn về học tập sâu, thảo luận về những gì tạo ra một mạng lưới thần kinh, và khám phá khái niệm học phân cấp và cách thức hoạt động của nó làm cho việc học sâu trở thành một trong những câu chuyện thành công lớn trong máy học và máy tính hiện đại tầm nhìn.

Lịch sử ngắn gọn về mạng neural networks và học sâu

Mặc dù được truyền cảm hứng từ bộ não của con người và cách các nơ-ron của nó tương tác với nhau, mạng neural netowrks không có nghĩa là mô hình thực tế của bộ não. Thay vào đó, chúng là một nguồn cảm hứng, cho phép chúng ta vẽ song song giữa một mô hình rất cơ bản của bộ não và làm thế nào chúng ta có thể bắt chước một số hành vi này thông qua mạng lưới thần kinh nhân tạo.

Mô hình mạng lưới thần kinh đầu tiên đến từ McCulloch và Pitts năm 1943. Mạng này là một bộ phân loại nhị phân, có khả năng nhận ra hai loại khác nhau dựa trên một số đầu vào. Các vấn đề là các trọng số được sử dụng để xác định nhãn lớp cho đầu vào đã cho là cần thiết được điều chỉnh thủ công bởi con người - loại mô hình này rõ ràng không có quy mô tốt.

Sau đó, vào những năm 1950, thuật toán Perceptron bán kết được Rosenblatt xuất bản - mô hình có thể tự động tìm hiểu các trọng số cần thiết để phân loại đầu vào (không có sự can thiệp của con người cần thiết). Một ví dụ về kiến trúc Perceptron có thể được nhìn thấy trong hình dưới. Trong thực tế, quy trình đào tạo tự động hình thành nên cơ sở của Stochastic Gradient Descent (SGD) vẫn còn được sử dụng để đào tạo mạng lưới thần kinh rất sâu ngày nay

Thuật toán backpropagation là nền tảng của các mạng thần kinh hiện đại cho phép chúng ta để đào tạo một cách hiệu quả các mạng lưới thần kinh và dạy cho học hỏi từ những sai lầm. Nhưng ngay cả như vậy, do (1) máy tính chậm (so với máy móc hiện đại) và (2) thiếu các bộ đào tạo được dán nhãn, các nhà nghiên cứu không thể đào tạo các mạng lưới thần kinh có nhiều hơn hai lớp ẩn - nó đơn giản là không thể tính toán được. Ngày nay, sự hiện thân mới nhất của mạng lưới thần kinh như chúng ta biết nó được gọi là học sâu. Chúng ta có phần cứng chuyên dụng, nhanh hơn với nhiều dữ liệu đào tạo có sẵn. Bây giờ chúng ta có thể đào tạo các mạng với nhiều lớp ẩn hơn có khả năng học tập theo cấp bậc trong đó các khái niệm đơn giản được học ở các lớp thấp hơn và nhiều hơn nữa mô hình trừu tượng trong các lớp cao hơn của mạng.

Có lẽ ví dụ điển hình của việc học sâu ứng dụng vào tính năng học tập là Mạng thần kinh chuyển đổi (LeCun 1988) được áp dụng để nhận dạng ký tự viết tay tự động tìm hiểu các mẫu phân biệt (được gọi là bộ lọc của bộ lọc) từ hình ảnh bằng cách xếp chồng liên tiếp các lớp chồng lên nhau. Các bộ lọc ở các cấp thấp hơn của mạng đại diện cho các cạnh và góc, trong khi các lớp cấp cao hơn sử dụng các cạnh và góc để tìm hiểu các khái niệm trừu tượng hữu ích hơn cho phân biệt giữa các lớp hình ảnh.

Trong nhiều ứng dụng, CNN hiện được coi là trình phân loại hình ảnh mạnh nhất và hiện chịu trách nhiệm thúc đẩy các công nghệ tiên tiến trong lĩnh vực thị giác máy tính thúc đẩy học máy.

Học tính năng phân cấp

Các thuật toán học máy (nói chung) rơi vào ba loại - học giám sát, không giám sát và học bán giám sát. Tôi sẽ thảo luận về việc học có giám sát và không giám sát trong bài này.
Trong trường hợp học giám sát, thuật toán học máy được cung cấp cả bộ đầu vào và mục tiêu đầu ra. Thuật toán sau đó cố gắng tìm hiểu các mẫu có thể được sử dụng để tự động ánh xạ dữ liệu đầu vào chỉ ra đầu ra mục tiêu chính xác của chúng. Học có giám sát tương tự như có một giáo viên theo dõi bạn làm một bài kiểm tra. Với kiến ​​thức trước đây của bạn, bạn làm hết sức mình để đánh dấu câu trả lời đúng vào thi; tuy nhiên, nếu bạn không chính xác, giáo viên của bạn sẽ hướng dẫn bạn một phỏng đoán tốt hơn, có giáo dục hơn lần tới.
Trong trường hợp học không giám sát, các thuật toán học máy cố gắng tự động khám phá các tính năng phân biệt mà không có bất kỳ gợi ý nào về đầu vào là gì. Trong kịch bản này, học sinh cố gắng phân loại nhóm các câu hỏi và câu trả lời tương tự lại với nhau, mặc dù học sinh không biết những câu trả lời đúng là gì và giáo viên không ở đó để cung cấp cho họ câu trả lời đúng.

Trong bối cảnh học máy được áp dụng để phân loại hình ảnh, mục tiêu của học máy là lấy các bộ ảnh này và xác định các mẫu có thể được sử dụng để phân biệt
các lớp / đối tượng hình ảnh khác nhau.
Trước đây, chúng tôi đã sử dụng các tính năng được thiết kế bằng tay để định lượng nội dung của hình ảnh - tôi hiếm khi sử dụng cường độ pixel thô làm đầu vào cho các mô hình học máy của tôi, như hiện nay phổ biến với học sâu. Đối với mỗi hình ảnh trong tập dữ liệu của tôi, tôi đã thực hiện trích xuất tính năng hoặc quá trình chụp ảnh đầu vào, định lượng nó theo một số thuật toán (được gọi là trình trích xuất tính năng hoặc mô tả hình ảnh) và trả về một vectơ (tức là danh sách các số) nhằm mục đích định lượng nội dung của một hình ảnh.

Trong mỗi tình huống này, một thuật toán được xác định bằng tay để định lượng và mã hóa cụ thể khía cạnh của một hình ảnh (tức là hình dạng, kết cấu, màu sắc, v.v.). Đưa ra một hình ảnh đầu vào của pixel, tôi sẽ áp dụng thuật toán xác định bằng tay của tôi cho các pixel và đổi lại nhận được một vectơ đặc trưng định lượng nội dung hình ảnh - bản thân các pixel hình ảnh không phục vụ mục đích nào ngoài mục đích là đầu vào của tôi cho quá trình trích xuất này. Các vectơ đặc trưng này là những gì chúng ta đã thực sự quan tâm vì chúng đóng vai trò là đầu vào cho các mô hình học máy của tôi.
Học sâu, và cụ thể là Mạng lưới thần kinh chuyển đổi, có một cách tiếp cận khác, được sử dụng để phân loại hình ảnh và thu được nhãn lớp đầu ra - lớp đầu ra là trực tiếp hoặc
ảnh hưởng gián tiếp bởi mọi nút khác trong mạng.
Chúng ta có thể xem quá trình này là học tập phân cấp: mỗi lớp trong mạng sử dụng đầu ra của các lớp trước đây khi xây dựng các khối để xây dựng các khái niệm trừu tượng hơn. Những lớp được học tự động - không có kỹ thuật thủ công nào diễn ra trong mạng.
Một trong những lợi ích chính của việc học sâu và Mạng nơ ron kết hợp là nó cho phép tôi bỏ qua bước trích xuất tính năng và thay vào đó tập trung vào quá trình đào tạo mạng của tôi để tìm hiểu các bộ lọc này. Tuy nhiên, như chúng ta sẽ tìm hiểu sau, đào tạo một mạng lưới để có được độ chính xác hợp lý trên một tập dữ liệu hình ảnh đã cho là luôn luôn dễ dàng. Thay vì xác định bằng tay một tập hợp các quy tắc và thuật toán để trích xuất các tính năng từ một hình ảnh, thay vào đó, các tính năng được tự động học từ quá trình đào tạo.
Sử dụng học tập sâu, tôi cố gắng hiểu vấn đề theo cách phân cấp các khái niệm. Mỗi khái niệm xây dựng trên những khái niệm khác. Các khái niệm trong các lớp cấp thấp hơn của mạng mã hóa một số biểu diễn cơ bản của vấn đề, trong khi các lớp cấp cao hơn sử dụng các lớp cơ bản này để tạo thành nhiều hơn
khái niệm trừu tượng. Cách học phân cấp này cho phép chúng ta loại bỏ hoàn toàn thiết kế thủ công tính năng quá trình trích xuất và coi CNN là học từ đầu đến cuối.
Đưa ra một hình ảnh, tôi cung cấp các giá trị cường độ pixel làm đầu vào cho CNN. Một loạt các lớp được sử dụng để trích xuất các tính năng từ hình ảnh đầu vào. Các lớp ẩn này xây dựng lẫn nhau trong một hệ thống phân cấp. Lúc đầu, chỉ các vùng giống như cạnh được phát hiện trong các lớp cấp thấp hơn của mạng lưới. Các vùng cạnh này được sử dụng để xác định các góc (nơi các cạnh giao nhau) và các đường viền (phác thảo của các đối tượng). Kết hợp các góc và đường viền có thể dẫn đến các bộ phận đối tượng trừu tượng của người khác trong phần tiếp theo lớp.
Một lần nữa, hãy nhớ rằng các loại khái niệm mà các bộ lọc này đang học để phát hiện sẽ tự động được học - không có sự can thiệp nào của chúng tôi trong quá trình học tập

Bạn có thể tham gia nhóm deep leaning và machine leaning để học những kiến thức liên quan giúp ích cho bạn tại đây.

Chúc bạn thành đạt trong công việc và hạnh phúc trong cuộc sống !

Hotline / Zalo: 0903 666 014

Website: https://uniduc.com/vi

-------------////--------------------------------------------////------------

HUMANOID ROBOT CỦA CÔNG TY UNIDUC SẢN XUẤT PHÁT TRIỂN.