Рекуррентная нейронная сеть (RNN) в глубоком обучении

Введение

Рекуррентная нейронная сеть (RNN) – это подход глубокого обучения, используемый для моделирования последовательных данных. Для модели с глубокой обратной связью могут потребоваться определенные параметры для каждого элемента последовательности, и она может не обобщаться на последовательности переменной длины. RNN в глубоком обучении использует одинаковые веса для каждого элемента последовательности, уменьшая количество параметров и позволяя модели обобщаться на последовательности переменной длины.

Его дизайн позволяет RNN обобщать структурированные данные наряду с последовательными данными, включая графические или географические данные. Подобно нескольким методам глубокого обучения, RNN довольно старый, разработанный в 1980-х годах. Однако недавно мы полностью использовали его потенциал для управления долговременной кратковременной памятью (LSTM) в сочетании с огромным объемом данных и возросшей вычислительной мощностью.

Давайте подробнее разберемся в RNN в машинном обучении и его архитектуре.

Что такое рекуррентная нейронная сеть (RNN)?

Рекуррентная нейронная сеть в машинном обучении – это тип нейронной сети, в которой выходные данные последнего шага подаются в качестве входных данных текущего шага. Он используется для моделирования последовательных данных, поскольку может предвосхищать последовательные данные так, как этого не могут другие алгоритмы.

В традиционных нейронных сетях все входные и выходные данные независимы друг от друга. Однако иногда для предсказания следующего слова в предложении требуется предыдущее слово. Поэтому важно помнить предыдущие слова. Вот почему была разработана модель RNN. Она решает проблему с помощью скрытого слоя. Скрытое состояние RNN является его наиболее важной особенностью, поскольку оно запоминает важные детали последовательности. В сети есть память для хранения всей информации о вычислениях.

Это также известно как состояние памяти, потому что оно может запоминать предыдущий ввод в сеть. Более того, оно использует одни и те же параметры для каждого ввода, поскольку создает выходные данные, выполняя одну и ту же задачу для всех входов или скрытых слоев. Следовательно, снижается сложность параметров, чего нет в других нейронных сетях.

Ключевые характеристики RNN в машинном обучении

Рекуррентные нейронные сети (RNN) отличаются несколькими ключевыми характеристиками, которые делают их уникально подходящими для обработки последовательных данных. Понимание этих характеристик имеет решающее значение для понимания того, как функционируют RNN и почему они используются в определенных приложениях.

• Обработка последовательности:

RNN в машинном обучении предназначен для работы с последовательностями данных. Они могут обрабатывать входные последовательности различной длины, в отличие от традиционных нейронных сетей, которые требуют входных данных фиксированного размера.

Это делает их идеальными для обработки данных временных рядов, языковой обработки и любого сценария, в котором последовательность входных данных содержит важную информацию.

• Скрытые состояния (Память):

RNN с машинным обучением поддерживают скрытые состояния, которые действуют как форма памяти. Они фиксируют информацию о предыдущих входных данных в последовательности.

На каждом временном шаге скрытое состояние обновляется на основе текущего входного сигнала и предыдущего скрытого состояния, что позволяет сети сохранять непрерывный поток информации по всей входной последовательности.

• Распределение веса по Временным Этапам:

В отличие от традиционных нейронных сетей, где каждый входной и скрытый слой имеет свой собственный набор весов, RNN имеют одинаковые веса на всех временных шагах.

Такое распределение веса значительно сокращает количество параметров в модели, делая RNN более эффективными и менее подверженными переоснащению.

• Обратное распространение во времени (BPTT):

Рекуррентные нейронные сети обучаются с использованием специальной формы обратного распространения, называемой Обратным распространением во времени, когда градиенты распространяются в обратном направлении на каждом временном шаге последовательности.

BPTT позволяет сети извлекать уроки из ошибок в разных точках последовательности и соответствующим образом корректировать свои веса.

• Ввод и вывод переменной длины:

RNNs может обрабатывать входные и выходные данные переменной длины, что важно для таких задач, как языковое моделирование, где разные предложения содержат разное количество слов.

• Проблемы, связанные с долгосрочными зависимостями:

Традиционные RNN испытывают трудности с изучением долгосрочных зависимостей из-за проблемы исчезающего градиента, когда градиенты становятся слишком малыми, чтобы вносить существенные изменения в веса во время обучения.

Эта проблема привела к разработке более совершенных структур RNN, таких как LSTMs и GRU.

• Гибкая Архитектура:

RNN могут быть структурированы различными способами в зависимости от задачи, такими как “один ко многим” (например, от одного входа к нескольким выходам), “многие к одному” (например, анализ настроений) или “многие ко многим” (например, машинный перевод).

• Стробирующие механизмы в продвинутых RNNs:

Продвинутые RNN, такие как LSTMs и GRU, включают в себя стробирующие механизмы для лучшего контроля потока информации. Эти шлюзы помогают сети решать, какую информацию сохранить или отбросить, улучшая ее способность фиксировать долгосрочные зависимости.

Архитектура рекуррентной нейронной сети (RNN)

Архитектура рекуррентной нейронной сети (RNN) отличается своей способностью сохранять память о предыдущих входных данных за счет включения в сеть контуров обратной связи. Такая архитектура делает RNN особенно подходящими для обработки последовательных данных.

Давайте разберем ключевые компоненты и общую архитектуру:

• Входной слой:

Входной уровень получает последовательные входные данные. В RNN эти входные данные обычно обрабатываются поэтапно.

• Скрытый слой:

Скрытый уровень – это место, где RNN выполняет большую часть своей обработки. В отличие от нейронных сетей с прямой связью, скрытый слой в RNN выполняет обратную связь с самим собой.

Этот механизм самоотдачи позволяет сети поддерживать “скрытое состояние” или “память”, которая фиксирует информацию о предыдущих входных данных в последовательности.

На каждом временном шаге скрытое состояние обновляется как на основе текущего ввода, так и на основе предыдущего скрытого состояния.

• Выходной слой:

В зависимости от приложения RNN может выдавать выходные данные на каждом временном шаге (например, при прогнозировании временных рядов) или один выходной сигнал в конце последовательности (например, анализ настроений).

• Контуры обратной связи

Ключевой особенностью архитектуры RNN является цикл обратной связи на скрытых уровнях. Это позволяет сети передавать информацию по этапам последовательности. Этот цикл можно представить как сеть, копирующую свои выходные данные и отправляющую их обратно самой себе.

• Весовые Параметры

RNN имеют три набора весов:

• Ввод весов скрытого слоя.
• Веса от скрытого к скрытому слою (цикл обратной связи).
• Скрытый для вывода веса слоя.
• Последовательная обработка данных

RNN обрабатывает данные последовательно, принимая по одному элементу ввода за раз и соответствующим образом обновляя его скрытое состояние. Обновленное скрытое состояние становится частью входных данных для следующего шага вместе со следующим элементом в последовательности ввода.

Как работают рекуррентные нейронные сети?

Информация в модели RNN перемещается по циклу к среднему скрытому слою. Входной слой принимает входные данные, обрабатывает их и передает среднему слою. Средний слой содержит несколько скрытых слоев, каждый из которых имеет свою собственную функцию активации, веса и отклонения. Мы используем рекуррентную нейронную сеть, когда предыдущий уровень не влияет на несколько параметров разных скрытых плательщиков. Это означает, что в нейронной сети нет памяти.

RNN в машинном обучении будет стандартизировать функции, веса и смещения, в результате чего каждый скрытый слой будет иметь одинаковые характеристики. Вместо создания нескольких скрытых слоев, он создаст один слой и повторит цикл по нему столько раз, сколько потребуется.

Типы RNN в машинном обучении

Существует четыре основных типа рекуррентных нейронных сетей, основанных на количестве входов и выходов в сети.

1. Один к одному
2. От одного ко многим
3. Много к Одному
4. Многие ко многим

1. Один к одному

Этот тип RNN также известен как ванильная нейронная сеть. Это простая нейронная сеть с одним входом и одним выходом. Более того, этот тип рекуррентной нейронной сети подходит для задач машинного обучения.

2. От одного ко многим

Этот RNN имеет один вход и несколько выходов и используется в подписи к изображению, где для данного изображения мы предсказываем предложение из нескольких слов.

3. Много к одному

В этом RNN несколько входных сигналов подаются в сеть в разных состояниях сети, генерируя только один выходной сигнал. Он используется в анализе настроений, когда мы вводим несколько слов в качестве входных данных, и он предсказывает настроение предложения в качестве выходных данных.

4. Многие ко многим

Этот тип рекуррентной нейронной сети имеет несколько входов и выходов, соответствующих задаче. Он принимает последовательность входов и выдает последовательность выходов. Примером этого RNN является машинный перевод, при котором мы вводим несколько слов с одного языка в качестве входных данных и получаем несколько слов с другого языка в качестве выходных данных.

Приложения рекуррентной нейронной сети (RNN)

Рекуррентные нейронные сети (RNN) имеют широкий спектр применений в различных областях благодаря их способности эффективно обрабатывать последовательные данные:

Обработка естественного языка (НЛП):

• Языковое моделирование и генерация текста: RNN могут предсказывать вероятность каждого слова в последовательности, что полезно для генерации текста.
• Машинный перевод: Перевод текста с одного языка на другой.
• Распознавание речи: Преобразование разговорной речи в текст.
• Анализ настроений: Анализ текстовых данных для определения выраженных настроений (положительных, отрицательных, нейтральных).

Анализ временных рядов:

• Прогнозирование курса акций: Прогнозирование будущих цен на акции на основе исторических данных.
• Прогнозирование погоды: Прогнозирование погодных условий, таких как температура и количество осадков.
• Прогнозирование спроса: Прогнозирование будущего спроса на продукцию в розничной торговле или управлении цепочками поставок.

Последовательная обработка данных:

• Прогнозирование событий: Прогнозирование будущих событий на основе данных о последовательности событий в прошлом, например, прогнозирование отказа оборудования при профилактическом обслуживании.
• Обнаружение аномалий: Выявление необычных паттернов, которые не соответствуют ожидаемому поведению.

Здравоохранение:

• Медицинская диагностика: Анализ медицинских данных с течением времени, таких как медицинские карты пациентов или показатели жизнедеятельности, в диагностических целях.
• Открытие лекарств: прогнозирование потенциальной эффективности новых лекарств.

Генерация аудио и музыки:

• Музыкальная композиция: Создание новых музыкальных произведений.
• Синтез голоса: Генерация человекоподобной речи из текста.

Обработка видео:

• Распознавание действий: Идентификация конкретных действий или активностей в видеоданных.
• Классификация видео: Классификация видеоклипов по разным жанрам или типам.

Азартные игры

• Поведение неигрового персонажа (NPC): Создание более реалистичного и отзывчивого поведения у NPC.
• Анализ стратегии игры: Анализ и прогнозирование действий игрока.