Что такое обучение под присмотром в ML? Использование, работа, преимущества, алгоритм

Введение

Машинное обучение в целом подразделяется на три категории: контролируемое обучение, Неконтролируемое обучение и обучение с подкреплением. Если оставить в стороне обучение с подкреплением, то двумя основными типами ML являются модели обучения под наблюдением и без присмотра. Ключевое различие между ними заключается в том, что в первом есть наборы данных с обучающей меткой вывода, связанные с каждым кортежем, тогда как во втором это не так.

Существует еще одна категория машинного обучения, которая существует между обучением под присмотром и без присмотра: обучение под присмотром.

В этом блоге мы поделимся подробностями об обучении под присмотром, которые вы должны знать, а также вы получите представление об активном обучении.

Что такое обучение под присмотром?

Полу-контролируемое обучение – это тип подхода, используемый в искусственном интеллекте, особенно в области машинного обучения, которое является способом для компьютеров учиться и совершенствоваться на собственном опыте. Чтобы лучше понять это, давайте сначала посмотрим, как мы обычно обучаем машины.

В машинном обучении обычно существует два способа обучения работе с компьютером: обучение под присмотром и без присмотра.

• Обучение под наблюдением: Думайте об этом как об обучении ребенка с помощью викторины и ключа для ответа. Вы показываете компьютеру множество примеров (например, картинок), каждый из которых четко обозначен (например, “это кошка” или “это собака”). Компьютер извлекает уроки из этих помеченных примеров, а затем может самостоятельно идентифицировать новые изображения.
• Обучение без учителя: Это все равно что дать ребенку кучу игрушек, но без инструкций. Ребенок исследует и группирует игрушки по сходствам, которые он замечает (например, по форме или цвету). Аналогичным образом компьютер просматривает данные и пытается найти закономерности или группировки без каких-либо предварительных ярлыков или инструкций.

Обучение под присмотром находится между этими двумя. Это все равно что учить ребенка нескольким игрушкам с этикетками и многим без них. Вы даете компьютеру несколько помеченных примеров (например, несколько картинок с кошками и собаками), но он также получает множество немаркированных примеров (картинок без указания, что это такое).

Компьютер использует помеченные примеры, чтобы разобраться в немаркированных, извлекая уроки как из того, что ему говорят непосредственно (помеченные примеры), так и из того, что он может вывести или угадать из остального.

Этот метод действительно полезен, потому что часто в реальном мире получение полностью помеченных данных может отнимать много времени или быть дорогостоящим. Обучение под контролем помогает компьютерам эффективно учиться, даже когда у них нет большого количества прямых инструкций, что делает его мощным и действенным способом их обучения.

Ключевые концепции обучения под присмотром

При обсуждении обучения с частичным контролем в машинном обучении важно понимать несколько ключевых концепций. Эти концепции являются основополагающими для того, как работает SSL и его применения в различных областях.:

1. Помеченные данные

Это данные, которые снабжены четкими метками или ответами. Например, в коллекции фотографий животных каждая фотография помечена именем животного.

2. Немаркированные данные

В этих данных отсутствуют метки. В том же примере это были бы фотографии животных без каких-либо меток, указывающих, что это за животные. SSL использует небольшое количество помеченных данных наряду с большим количеством немаркированных данных.

3. Алгоритм обучения

Это набор правил или процедур, которым следует компьютер для обучения на основе данных. Алгоритм обучения с частичным контролем должен быть способен обучаться как на основе помеченных, так и немаркированных данных, используя первые для понимания последних.

4. Обобщение модели

Это способность модели обучения с частичным контролем применять то, чему она научилась, к новым, невидимым данным. Хорошая модель SSL не просто запоминает помеченные примеры; она понимает их достаточно хорошо, чтобы делать точные прогнозы относительно новых данных.

5. Самообучение

Это распространенный метод в обучении с частичным контролем, когда модель сначала извлекает информацию из небольшого набора помеченных данных, а затем начинает делать прогнозы на основе немаркированных данных. Затем наиболее достоверные прогнозы добавляются в обучающий набор в виде помеченных примеров, что помогает итеративно улучшать модель.

6. Меры доверия

При обучении с частичным контролем в машинном обучении важно оценить, насколько модель уверена в своих прогнозах, особенно когда она начинает помечать свои собственные обучающие данные. Меры достоверности помогают определить, какие точки данных следует добавить в обучающий набор.

7. Представление функций

Функции – это аспекты или атрибуты, которые модель использует для составления своих прогнозов. Эффективное представление функций — определение того, какие аспекты данных важны и как их кодировать, — имеет решающее значение в SSL.

8. Предположение о кластере

Это предположение предполагает, что точки данных в одном кластере (группе) с большей вероятностью будут иметь общую метку. Алгоритмы обучения с частичным контролем часто используют этот принцип для группировки немаркированных данных на основе сходства с помеченными примерами.

9. Трансдуктивное и Индуктивное Обучение

• Трансдуктивное обучение: Цель состоит в том, чтобы предсказать метки для определенного набора немаркированных данных, которыми вы располагаете.
• Индуктивное обучение: Модель извлекает общее правило из помеченных и немаркированных данных, которое затем может быть применено к любым новым данным.

10. Расширение данных

Это включает в себя создание дополнительных обучающих данных на основе существующих данных, например, путем незначительного изменения изображений в наборе данных. Это может быть особенно полезно при обучении под контролем для расширения диапазона помеченных данных.

Как работает обучение под присмотром?

Давайте объясним принцип обучения под присмотром простыми словами, разбив его на понятные этапы:

1. Начиная с помеченных и немаркированных данных

Представьте, что у вас есть корзина с фруктами, только некоторые из которых помечены – скажем, некоторые яблоки и апельсины помечены, но большинство – нет. Помеченные фрукты – это ваши “помеченные данные”, а остальные – “немаркированные данные”.

2. Начальное обучение работе с Помеченными данными

Сначала компьютер (или обучающая модель) изучает маркированные фрукты. Он изучает характеристики яблок и апельсинов (например, цвет, форму, размер) на примерах с маркировкой. Этот шаг аналогичен обучению под наблюдением.

3. Применение полученных знаний к Немаркированным данным

Затем модель смотрит на немаркированные фрукты. Используя то, что она узнала из маркированных яблок и апельсинов, модель пытается выяснить (или предсказать), какие из этих немаркированных фруктов являются яблоками, а какие апельсинами.

4. Включение немаркированных данных в процесс обучения

Вот где обучение под контролем становится интересным. Модель начинает использовать свои прогнозы (которые не всегда идеальны), чтобы узнать еще больше. Если он с высокой степенью уверенности определяет определенные фрукты без маркировки как яблоки, он может начать использовать эти фрукты в качестве дополнительных примеров для обучения. Этот процесс называется самообучением.

5. Итеративное Улучшение

Модель продолжает совершенствовать свое понимание. С каждым раундом она все лучше идентифицирует яблоки и апельсины, даже среди фруктов, которые изначально не были маркированы. Этот итерационный процесс помогает модели повышать точность.

6. Работа с неопределенностью

Одна из проблем полу-контролируемого обучения в ИИ заключается в том, что модель может делать неверные прогнозы. Чтобы справиться с этим, модель часто использует уровни достоверности. Он может рассматривать только прогнозы, в которых он очень уверен, и игнорировать те, в которых он не уверен.

7. Конечный результат – Более обученная модель

После нескольких раундов этого процесса модель обучения с частичным контролем значительно улучшает идентификацию фруктов даже при ограниченных исходных данных с маркировкой. Это полезно в реальных ситуациях, когда данных с маркировкой недостаточно или их получение дорого.

Примеры обучения под присмотром

1. Классификация изображений

Целью классификации изображений является разделение изображения на одну или несколько предопределенных категорий. Мы можем использовать полууправляемый алгоритм для обучения модели классификации изображений, используя небольшое количество помеченных данных и большое количество немаркированных данных изображения.

2. Классификация текстов

Он классифицирует текст по одной или нескольким предопределенным категориям. Обучение с частичным контролем используется для обучения моделям классификации текста с использованием большого количества немаркированных текстовых данных и небольшого количества помеченных данных.

3. Обнаружение аномалий

Здесь цель состоит в том, чтобы обнаружить необычные или отличающиеся от нормы паттерны.

Допущения полу-контролируемого алгоритма обучения

Модель обучения с частичным контролем содержит несколько допущений, которые мы изучим в следующем разделе:

• Предположение о непрерывности

Предположение о непрерывности гласит, что объекты, расположенные ближе друг к другу, с большей вероятностью будут иметь одну и ту же метку или группу. Обучение под наблюдением также использует это предположение, и границы принятия решений разделяют наборы данных. Однако при обучении с частичным контролем границы принятия решений добавляются с учетом предположения о гладкости границ с низкой плотностью.

• Многообразное Предположение

Предположение о многообразии помогает использовать плотности и расстояния, определенные на многообразии. Данные лежат на более низком многообразии, чем входное пространство. Размерные данные создаются с использованием процесса с меньшей степенью свободы, и их может быть трудно смоделировать напрямую.

• Кластерный коллектор

Это предположение разделяет данные на разные дискретные кластеры, и точки в одном кластере, скорее всего, будут иметь общую выходную метку.

Использование моделей обучения с частичным контролем

Обучение с частичным контролем (SSL) полезно в сценариях, когда получение помеченных данных затруднено, дорого или отнимает много времени, но доступно множество немаркированных данных.

Ниже приведены некоторые распространенные области применения обучения под присмотром:

• Ресурсные ограничения для маркировки:

Во многих областях маркировка данных может быть дорогостоящей и требовать специальных знаний. Например, при анализе медицинских изображений вам нужны квалифицированные радиологи для маркировки рентгеновских снимков или МРТ-снимков. Обучение под контролем искусственного интеллекта обеспечивает эффективное обучение с меньшим количеством помеченных примеров, уменьшая необходимость в обширном вмешательстве экспертов.

• Большие объемы данных:

В ситуациях, когда данные генерируются в большом объеме (например, интернет-контент), вручную помечать каждую часть данных непрактично. Обучение с частичным контролем может использовать огромное количество немаркированных данных, таких как фотографии в социальных сетях или веб-страницы, для таких задач, как iраспознавание магов или классификация веб-страниц.

• Обработка естественного языка (НЛП):

Многим задачам НЛП, таким как анализ настроений или тематическое моделирование, может помочь обучение под присмотром. Хотя количество образцов текста с пометками может быть ограничено, Интернет предоставляет практически бесконечный запас текста без пометок. Протокол SSL может помочь в понимании языковых шаблонов и контекста при минимальном количестве помеченных данных.

• Распознавание речи:

Подобно NLP, системы распознавания речи можно обучать более эффективно, используя SSL. Хотя существуют помеченные наборы данных о речи, их часто недостаточно, чтобы охватить вариативность человеческой речи. SSL может использовать немаркированные аудиоданные, чтобы улучшить способность модели понимать различные акценты, диалекты и стили речи.

• Обнаружение Аномалий:

В таких областях, как обнаружение мошенничества или сетевая безопасность, аномалии редки, и поэтому их трудно обозначить. Обучение под контролем может быть использовано для понимания обычных закономерностей с использованием больших объемов немаркированных данных, а затем для выявления отклонений, которые могут указывать на мошенничество или кибератаку.

• Сельское хозяйство и экологические исследования:

Для таких задач, как мониторинг состояния сельскохозяйственных культур или классификация видов в исследованиях дикой природы, сложно иметь полный набор помеченных изображений. Обучение с частичным контролем может использовать сочетание нескольких помеченных изображений и множества немаркированных для эффективной классификации и мониторинга экологических и сельскохозяйственных данных.

• Фармацевтика и открытие новых лекарств:

При разработке лекарств данные о маркировке (например, химические соединения, о которых известно, что они эффективны против заболевания) ограничены. Обучение под наблюдением может помочь в скрининге обширных библиотек немеченых соединений для более эффективного выявления потенциальных кандидатов на лекарства.

• Робототехника:

В робототехнике, особенно в неструктурированных средах, таких как дома или открытые пространства, трудно обозначить все сценарии, с которыми может столкнуться робот. Полу-контролируемый режим позволяет роботам учиться на сочетании нескольких помеченных примеров и множества немаркированных взаимодействий с окружающей средой.

• Классификация веб-контента:

Маркировка каждой страницы в Интернете может быть сложной и непрактичной. Однако этого можно достичь с помощью обучения под частичным контролем. Поисковый алгоритм Google также использует этот тип машинного обучения для ранжирования релевантных веб-страниц по заданному запросу.

Преимущества обучения под присмотром

Обучение с частичным контролем (SSL) предлагает ряд преимуществ, особенно в ситуациях, когда маркировка данных является сложной или дорогостоящей. Некоторые из ключевых преимуществ включают:

• Уменьшенная потребность в помеченных данных: Одним из основных преимуществ полу-контролируемого обучения в машинном обучении является то, что для него требуется гораздо меньше помеченных данных по сравнению с обучением под наблюдением. Это может значительно сократить время и затраты, связанные со сбором данных и маркировкой, особенно в областях, где маркировка требует специальных знаний.
• Повышенная точность обучения: Обучение под частичным контролем часто может привести к повышению производительности и точности модели. Используя как помеченные, так и немаркированные данные, он может обеспечить более широкое понимание структуры данных, что приведет к более точным прогнозам или классификациям.
• Эффективное использование немаркированных данных: Во многих реальных сценариях доступно множество немаркированных данных. SSL эффективно использует эти данные, которые в противном случае были бы проигнорированы в контексте исключительно контролируемого обучения. Это может привести к созданию более надежной и хорошо обученной модели.
• Обработка изменчивости в реальном мире: Данные в реальном мире часто сильно различаются и могут быть зашумленными. Обучение под контролем может лучше справляться с этой изменчивостью, извлекая уроки из большого массива немаркированных данных, что делает модели более адаптируемыми и устойчивыми к новым или невидимым сценариям обработки данных.
• Экономическая эффективность: Поскольку обучение под частичным контролем снижает зависимость от обширных маркированных наборов данных, оно может быть более рентабельным, особенно в областях, где маркировка данных сопряжена с высокими затратами.
• Гибкость и универсальность: Модели обучения с частичным контролем могут применяться к широкому кругу задач и областей, от распознавания изображений и речи до обработки естественного языка и за его пределами. Такая универсальность делает его ценным подходом во многих областях исследований и промышленного применения.
• Улучшенное обобщение: Благодаря обучению на основе комбинации помеченных и немаркированных данных модели обучения с частичным наблюдением часто лучше подходят для обобщения обучающих данных на реальные сценарии. Это повышает способность модели хорошо работать с новыми, невидимыми данными.
• Устранение дефицита и дисбаланса данных: В ситуациях, когда некоторые классы данных редки (что приводит к дисбалансу классов), обучение под контролем может быть особенно полезным. Он может извлекать уроки из небольшого количества помеченных данных, доступных для редких классов, в то же время извлекая выгоду из большего пула немаркированных данных.

Проблемы и ограничения полу-контролируемого обучения

Хотя обучение под присмотром предлагает значительные преимущества, оно также сопряжено со своим набором проблем и ограничений. Понимание этого имеет решающее значение для эффективного применения SSL в практических сценариях.:

• Зависимость от качества помеченных данных: Протокол SSL использует небольшое количество помеченных данных для руководства процессом обучения. Если эти помеченные данные не являются репрезентативными для общего набора данных или содержат ошибки, процесс обучения может быть введен в заблуждение, что приведет к снижению производительности модели.
• Риск подкрепления неверных прогнозов: Когда модель использует свои собственные прогнозы для дальнейшего обучения (процесс, известный как самообучение), существует риск того, что неверные прогнозы могут быть подкреплены. Это может привести к увеличению количества ошибок и снижению общей точности модели.
• Сложность модели и переоснащение: Модели SSL обычно более сложны, чем контролируемые или неконтролируемые модели. Такая сложность может увеличить риск переобучения, когда модель хорошо работает с обучающими данными, но плохо с новыми, невидимыми данными.
• Выбор алгоритма: Эффективность обучения под наблюдением в значительной степени зависит от выбора алгоритма и его пригодности для конкретного типа данных и решаемой задачи. Универсального подхода не существует, и выбор неправильного алгоритма может привести к неоптимальным результатам.
• Баланс между помеченными и немаркированными данными: Решающее значение имеет нахождение правильного баланса между помеченными и немаркированными данными. Слишком мало помеченных данных может оказаться недостаточным руководством для обучения, в то время как слишком много может свести на нет преимущества использования немаркированных данных.
• Предположения о распределении данных: Протокол SSL часто делает предположения о распределении и взаимосвязи между помеченными и немаркированными данными. Если эти предположения не верны для конкретного набора данных (например, если помеченные и немаркированные данные поступают из разных дистрибутивов), эффективность SSL может быть значительно снижена.
• Масштабируемость и вычислительные ресурсы: Из-за итеративного характера многих методов обучения с частичным контролем и необходимости обработки больших объемов данных алгоритмы SSL могут быть трудоемкими в вычислительном отношении, требуя значительной вычислительной мощности и памяти, что может быть ограничением в средах с ограниченными ресурсами.
• Обработка зашумленных и неоднозначных данных: В случаях, когда немаркированные данные зашумлены, неоднозначны или содержат много выбросов, модели обучения с неполным контролем могут испытывать трудности с эффективным обучением, поскольку они полагаются на предположение, что немаркированные данные в целом надежны и информативны.
• Оценка производительности модели: Оценка производительности моделей обучения с частичным контролем может быть сложной задачей, особенно с учетом того, что истинные метки для большинства данных неизвестны. Это затрудняет оценку того, насколько хорошо модель работает на самом деле.
• Вопросы этики и конфиденциальности: При использовании немаркированных данных могут возникнуть опасения по поводу конфиденциальности и этики, особенно если данные содержат конфиденциальную информацию. Решающее значение имеет обеспечение соответствия моделей SSL правилам защиты данных и этическим принципам.

Будущие тенденции и разработки в обучении под контролем специалиста

Область полу-контролируемого обучения в области искусственного интеллекта быстро развивается, и несколько будущих тенденций и разработок, вероятно, определят ее траекторию:

• Достижения в области алгоритмов и моделей:

Поскольку исследования в области обучения с частичным контролем продолжают расти, мы можем ожидать появления более сложных и эффективных алгоритмов. Эти усовершенствования могут предложить более эффективные способы использования немаркированных данных, повысить точность модели и снизить риски распространения ошибок и переоснащения.

• Интеграция с Глубоким обучением:

Модели глубокого обучения продемонстрировали значительный успех в различных областях. Интеграция обучения под контролем с глубокими нейронными сетями является постоянной тенденцией, которая, вероятно, будет расширяться. Такая интеграция может привести к прорыву в том, как эти модели обучаются на основе больших наборов данных с минимальным контролем.

• Повышенное внимание к качеству Немаркированных данных:

Вероятно, больше внимания будет уделяться качеству и актуальности немаркированных данных. Методы оценки и повышения качества немаркированных наборов данных могут стать решающими при построении эффективных моделей обучения с частичным контролем.

• Активное Обучение и SSL:

Сочетание обучения под присмотром с активным обучением, когда модель определяет, какие немаркированные примеры было бы наиболее выгодно маркировать, могло бы стать более распространенным. Такой подход позволил бы еще больше оптимизировать процесс обучения и уменьшить потребность в больших маркированных наборах данных.

• Междоменный и многоязычный SSL:

Поскольку объем глобальных данных продолжает расти, методы SSL, способные работать в разных доменах или на разных языках, будут пользоваться большим спросом. Это включает в себя передачу знаний, полученных в одной предметной области или на другом языке, в другую, что может существенно повлиять на такие области, как НЛП и международный анализ данных.

• Надежность и обобщение:

Ключевой областью внимания будет повышение надежности моделей SSL для эффективной работы в различных реальных сценариях. Улучшение возможностей обобщения этих моделей сделает их более практичными и надежными для различных приложений.

• Этичный искусственный интеллект и справедливость:

С ростом осведомленности об этичном искусственном интеллекте будущие разработки в области обучения с частичным контролем, вероятно, будут включать акцент на справедливости и снижении предвзятости, тем более что выводы модели в значительной степени основаны на данных, на которых она обучается.

• AutoML и SSL:

Интеграция обучения с частичным контролем в платформы автоматизированного машинного обучения (AutoML) может стать более заметной. Это позволило бы неспециалистам использовать возможности SSL, не требуя глубоких технических знаний базовых моделей.

• Передовые вычисления и SSL:

Применение обучения с частичным контролем в передовых вычислениях, где обработка данных выполняется в источнике генерации данных или вблизи него, является новой тенденцией. Это может иметь решающее значение для Интернета вещей и приложений аналитики в реальном времени.

• Протокол SSL для сохранения конфиденциальности:

Поскольку проблемы конфиденциальности данных продолжают расти, разработка методов SSL, позволяющих эффективно извлекать уроки из данных без ущерба для конфиденциальности, станет ключевой областью исследований. Это может включать новые подходы к федеративному обучению или дифференцированной конфиденциальности в контексте SSL.