Глубокое обучение: определение и отличительные особенности

Глубокое обучение - это область машинного обучения, связанная с алгоритмами, основанными на структуре и функции мозга, называемыми искусственными нейронными сетями.

По мере того, как создаются более крупные нейронные сети, обучаемые на все б о льших объемах данных, их производительность продолжает расти. Большинство же других методов машинного обучения достигли предела производительности: их усложнение и использование б о льших объемов данных для обучения не увеличивают скорость работы. Глубокое обучение - первый класс алгоритмов, допускающий масштабирование [3].

Искусственный интеллект - это будущее. Искусственный интеллект -это научная фантастика. Искусственный интеллект уже является частью нашей повседневной жизни. Все эти утверждения верны, это зависит только от того, какая разновидность искусственного имеется в виду.

Например, когда программа Google DeepMind AlphaGo победила южнокорейского мастера Ли Седоля в игре го (2016 год) [5], средства массовой информации использовали термины AI (ИИ, искусственный интеллект), машинное обучение и глубокое обучение, чтобы описать, как победил DeepMind. И все три являются одной из причин выигрыша AlphaGo. Но это не одно и то же.

Самый простой способ представить их как концентрические окружности: искусственный интеллект - это идея, которая возникла первой (самый большой диаметр, 50е - 80е годы прошлого века), затем -машинное обучение, которое стало популярным позже (80е годы прошлого века - первое десятилетие 21 века), и, наконец, глубокое обучение, находящееся на ведущих позициях в течении нынешнего десятилетия [4].

Таким образом, представляется оправданным внести ясность в понятия «искусственный интеллект», «машинное обучение» и «глубокое обучение», во избежание указанной путаницы, сосредоточившись на особенностях последнего элемента в приведенном перечне, ибо он на текущий момент времени является наиболее актуальным и востребованным.

Различия между искусственным интеллектом, машинным обучением и глубоким обучением

В первом приближении можно сказать, что искусственный интеллект – это человеческий интеллект, демонстрируемый машинами.

Есть множество способов имитации разумного поведения. Некоторые методы более интеллектуальны, чем другие.

Искусственный интеллект может быть набором правил в формате «ЕСЛИ-ТО» или сложной статистической моделью. «Классическая» система подобного уровня может быть уподоблена бухгалтеру, обрабатывающим информацию на основе статического набора правил и выдающим сумму налогов, которую нужно оплатить

Одним из аспектов, который отделяет машинное обучение от классических методов искусственного интеллекта, является его способность самомодификации, опирающаяся на обработку больших объемов данных; то есть машинное обучение динамично и не требует вмешательства человека для внесения определенных изменений. Это позволяет в заметной степени избавиться от субъективизма людей-экспертов.

Говорят, что компьютерная программа извлекает уроки из опыта E в отношении некоторого класса задач T и показателя эффективности P , если ее эффективность при выполнении задач в T , измеряемая P , улучшается с увеличением E .

Таким образом, вместо «вручную» написанных программ с заданным набором инструкций для выполнения конкретной задачи, машина «обучается» с использованием больших объемов данных и алгоритмов, которые дают ей возможность научиться выполнять специфическую задачу.

«Обучающаяся» часть машинного обучения означает, что алгоритмы пытаются произвести оптимизацию по определенному измерению; как правило они пытаются минимизировать ошибку или максимизировать вероятность формирования истинного прогноза.

Одним из способов минимизации ошибки является создание структуры со множеством входов чтобы делать предположения о характере входных данных. Различные выводы / предположения есть итог работы алгоритма с входными данными. Обычно первоначальные предположения совершенно неверны, однако если с каждым набором входных значений соотнесено определенное значение выходного (целевого) параметра, можете измерить, насколько неверны догадки, а затем использовать эту ошибку, чтобы внести изменение в алгоритм. Именно таким образом работают нейронные сети. Они циклически фиксируют погрешность и корректируют свои параметры, пока не добьются (если получится) требуемого значения ошибки.

Характерными алгоритмами машинного обучения являются деревья решений, кластеризация, байесовские сети, индуктивное логическое программирование, обучение с подкреплением, нейронные сети и т.д.

Область, где машинное обучение проявляло себя наилучшим образом на протяжении многих лет, - компьютерное зрение, хотя доля ручного кодирования была достаточно велика. С течением времени этот недостаток был в значительной степени нивелирован.

Глубокое обучение, в свою очередь, есть методика внедрения машинного обучения. Она основывается на применении искусственных нейронных сетей [2].

Обычно, когда используется термин «глубокое обучение», имеют в виду глубокие искусственные нейронные сети, и несколько реже - глубокое обучение с подкреплением [6].

В отличие от биологического мозга, чьи нейроны могут соединяться с любыми другими нейронами в некоторой области, их аналоги отличаются дискретным числом слоев, связей и направлением распространения данных [2].

«Глубокий» - это технический термин. Основная отличительная особенность глубокого обучения заключается в большем числе скрытых слоев, чем у «классических» однослойных нейросетей. Если слоев больше трех (включая входной и выходной), то говорят о глубоком обучении.

Другими словами, «глубокая нейронная сеть» = «нейронная сеть, с числом скрытых слоев больше одного».

Каждый из «уровней» нейросети обучается определенному набору функций на основе результатов предыдущего уровня. Чем больше порядковый номер слоя, тем все более сложные объекты могут распознать узлы (нейроны) его образующие, поскольку последние объединяют и рекомбинируют объекты предыдущего уровня.

Такой подход к обработке данных носит название «иерархия объектов» (feature hierarchy). Это иерархия возрастающей сложности и абстракции, что делает возможным использование сетей глубокого обучения для обработки больших многомерных наборов данных с миллиардами параметров [1].

Приведем примеры некоторых задач, которые могут быть решены посредством глубокого обучения.

Классификация

Подразумевает использование помеченных наборов данных (обучение с учителем): каждая строка в наборе содержит целевой признак (метку), позволяющей однозначно отнести первую к определенному классу. Зная корреляции между входными данными и меткой, можно обучить нейронную сеть. Это позволяет решить такие практические задачи, как: распознавание лиц (идентификация людей на изображениях, определение выражения лица); идентификация объектов на изображениях; распознавание жестов в видеопоследовательности; идентификация человека по голосу; преобразование речи в текст; фильтрация спама и т.д.

Кластеризация

Представляет собой процедуру обнаружения сходства между объектами в наборе. Не требует использования помеченных наборов данных (обучение без учителя). Непомеченные данные - это большинство данных в мире. Один из законов машинного обучения гласит: чем больший объем данных был использован для обучения алгоритма, тем точнее он будет работать. Следовательно, указанный тип обучения способен создавать эффективные модели. Это позволяет решить такие практические задачи, как: сравнение документов, изображений, звуков или каких-либо прочих объектов; обнаружение аномалий и т.д.

Прогнозная аналитика: регрессия

С помощью классификации глубокое обучение способно установить корреляцию между, например, пикселями на изображении и именем человека. Можно назвать это статистическим прогнозированием. Подобным образом, при наличии достаточно большого объема пригодных для обработки данных, глубокое обучение способно установить корреляцию между нынешними и будущими событиями, то есть, другими словами, сформировать регрессию между прошлым и будущим. Будущее событие - это метка. Для глубокого обучения время или факт того, что событие еще не произошло, значения не имеют. Имея в распоряжении временной ряд, алгоритм глубокого обучения способен «прочитать» строку и спрогнозировать число, которое появится следующим с наибольшей вероятностью. Это позволяет решить такие практические задачи, как: прогнозирование отказов оборудования; выявление возможных проблем со здоровьем; прогнозирование оттока клиентов и сотрудников и т.д. [1]

Таким образом, глубокое обучение является направлением в области машинного обучения, предназначенным для решения достаточно широкого круга задач. Алгоритмы глубокого обучения могут автоматически, без участия человека, обнаруживать закономерности в больших неструктурированных и немаркированных объемах данных, что отличает их от большинства традиционных алгоритмов машинного обучения. Указанный тип обучения позволяет обойти временные ограничения и расширить возможности небольших групп исследователей при обработке немасштабируемых данных. При использовании «классических» подходов могут потребовать годы на решение упомянутой задачи.