Что такое машинное обучение в ИИ? Окончательное руководство 2024

Введение

Машинное обучение в области искусственного интеллекта сегодня является одной из наиболее развивающихся и востребованных технологий, которая позволяет компьютерам автоматически обучаться на основе исторических данных и прошлого опыта. В нем используются алгоритмы для построения математических моделей и составления прогнозов на основе прошлой информации.

Машинное обучение широко используется, включая распознавание речи, автоматическую пометку Facebook, распознавание изображений, фильтрацию электронной почты и т.д. Он также используется в беспилотных автомобилях и для прогнозирования таких заболеваний, как ALS.

Этот блог поможет вам разобраться в основах машинного обучения, его работе, типах и многом другом.

Что такое машинное обучение?

Артур Сэмюэл, американский лидер в области компьютерных игр и искусственного интеллекта, ввел слово ‘Машинное обучение’ в 1959 году в IBM. По его словам, машинное обучение означает “область исследований, которая дает компьютерам возможность учиться без явного программирования”.

Хотя общепринятого определения машинного обучения не существует, основная идея каждого автора о машинном обучении одна и та же.

Машинное обучение – это подмножество искусственного интеллекта (ИИ), в первую очередь ориентированное на разработку алгоритмов и статистических моделей, позволяющих компьютерам извлекать уроки из опыта и повышать свою производительность.

Алгоритмы и модели разработаны для того, чтобы позволить машинам автоматически учиться на основе данных, делать прогнозы и принимать решения без явного программирования или инструкций. Модель может быть прогностической, делающей прогнозы, или описательной, извлекающей знания из данных.

Чтобы понять это проще всего, машинное обучение немного похоже на обучение компьютера учиться и принимать решения самостоятельно, но вместо того, чтобы использовать книги и лекции, мы используем данные и примеры.

Представьте, что вы пытаетесь научить друга распознавать различные виды фруктов. Вы показываете им яблоки, апельсины и бананы и объясняете, что это за фрукты. Через некоторое время ваш друг научится распознавать каждый фрукт самостоятельно. Машинное обучение работает аналогично, но с компьютером.

В машинном обучении мы загружаем в компьютер множество данных, таких как изображения различных фруктов или информацию о погодных условиях. Эти данные служат для компьютера примерами. Компьютер просматривает все эти данные и начинает находить закономерности и правила. Например, он может заметить, что яблоки обычно красные или зеленые и круглые, в то время как бананы длинные и желтые.

Компьютер может учиться разными способами. Иногда мы говорим компьютеру, на что обращать внимание (например, показываем вашему другу фрукты и называем их). Это называется “обучением под контролем”.

В других случаях мы позволяем компьютеру просматривать данные и находить свои собственные закономерности, не указывая ему, что искать, точно так же, как если бы вашему другу пришлось самому выяснять, что такое яблоко или банан. Это известно как “обучение без учителя”. Существует также “обучение с подкреплением”, когда компьютер учится методом проб и ошибок, во многом подобно тому, как ребенок учится ходить, пробуя, падая и затем пробуя снова.

Как только компьютер извлекает уроки из полученных данных, он может начать принимать решения или предсказания. Например, изучив множество изображений кошек и собак, он может посмотреть на новое изображение и определить, кошка это или собака. Это очень полезно во многих областях, например, помогая врачам диагностировать заболевания, создавая автомобили, которые сами ездят, или даже рекомендуя фильмы, которые могут вам понравиться в потоковых сервисах.

Примеры машинного обучения

Машинное обучение в ИИ используется в широком спектре приложений в различных отраслях. Ниже приведены несколько реальных примеров машинного обучения, которые показывают, как оно влияет на нашу повседневную жизнь.:

• Системы рекомендаций

Потоковые сервисы, такие как Netflix и Spotify, используют машинное обучение для анализа истории вашего просмотра или прослушивания. На основе этих данных они рекомендуют фильмы, телешоу или музыку, которые могут вам понравиться.

• Распознавание речи

Виртуальные помощники, такие как Siri, Alexa и Google Assistant, используют машинное обучение для понимания голосовых команд и реагирования на них. Они постоянно изучают и совершенствуют свое понимание моделей человеческой речи.

• Фильтрация электронной почты

Почтовые сервисы, такие как Gmail, используют машинное обучение для фильтрации спама. Система учится определять шаблоны в электронных письмах, которые обычно ассоциируются со спамом или попытками фишинга.

• Обнаружение мошенничества

Финансовые учреждения используют машинное обучение для обнаружения необычных закономерностей в транзакциях, которые могут указывать на мошенничество. Например, если кредитная карта, которая обычно используется в одной стране, внезапно начинает совершать транзакции в другой, система может пометить это как подозрительное.

• Автономные транспортные средства

Самоуправляемые автомобили используют машинное обучение для принятия решений о том, как ориентироваться на дорогах, идентифицировать объекты и пешеходов, а также для принятия решений о том, когда следует увеличить скорость или притормозить.

• Здравоохранение и медицинская диагностика

Алгоритмы машинного обучения могут анализировать медицинские изображения, такие как рентгеновские снимки или магнитно-резонансная томография, чтобы помочь врачам в ранней и точной диагностике заболеваний.

• Обработка естественного языка (НЛП)

Такие инструменты, как Grammarly, используют машинное обучение для улучшения вашего письма, проверяя его на наличие грамматических и орфографических ошибок и даже предлагая улучшения стиля.

• Электронная коммерция

Веб-сайты, подобные Amazon, используют машинное обучение как для рекомендации продуктов покупателям, так и для оптимизации логистики, например, для прогнозирования спроса на товары в разных регионах для управления запасами.

• Распознавание лиц

Используется в различных системах безопасности, смартфонах и приложениях для идентификации или верификации личности по цифровому изображению путем сравнения и анализа шаблонов.

• Профилактическое обслуживание

Производственные компании используют машинное обучение для прогнозирования того, когда машинам потребуется техническое обслуживание, тем самым сокращая время простоя и экономя затраты.

• Прогнозирование погоды

Модели машинного обучения могут анализировать большие объемы метеорологических данных для прогнозирования погодных условий, помогая составлять более точные и своевременные прогнозы погоды.

• Торговля на Фондовом рынке

Алгоритмы машинного обучения могут анализировать рыночные тенденции и осуществлять автоматическую торговлю с объемом и скоростью, невозможными для трейдера-человека.

История технологии машинного обучения

Машинное обучение (ML) имеет увлекательную историю, которая восходит к середине 20 века и переплетается с развитием компьютеров и искусственного интеллекта (ИИ).

• Раннее начало (1950-е-1960-е)

Концепция машинного обучения уходит корнями в зарождение искусственного интеллекта. В 1950 году Алан Тьюринг, британский математик, предложил тест Тьюринга для оценки способности машины демонстрировать разумное поведение, эквивалентное человеческому или неотличимое от него.

В 1952 году Артур Сэмюэл, работавший в IBM, написал программу для игры в шашки, одну из первых самообучающихся систем, использующую метод, ныне известный как обучение с подкреплением.

• Первоначальный прогресс (1960-е-1970-е)

В этот период исследователи начали изучать “распознавание образов” и “нейронные сети”. Фрэнк Розенблатт в 1957 году создал Персептрон, раннюю нейронную сеть, в авиационной лаборатории Корнелла.

“Зима искусственного интеллекта” началась в конце 1970-х годов из-за высоких ожиданий, но ограниченного прогресса, что привело к сокращению финансирования и интереса к исследованиям в области искусственного интеллекта и ОД.

• Возрождение и рост (1980-е-1990-е)

В 1980-е годы возродился интерес к машинному обучению, благодаря разработке новых алгоритмов и теоретическому пониманию.

В 1986 году концепция обратного распространения была вновь введена Дэвидом Румелхартом, Джеффри Хинтоном и Рональдом Уильямсом, что значительно улучшило обучение нейронных сетей.

В этот период также появились алгоритмы дерева решений, такие как алгоритм ID3 Джона Росса Куинлана.

• Расширение и практическое применение (1990-е-2000-е)

1990-е годы привели к переходу от подхода, основанного на знаниях, к подходу, основанному на данных. Стали популярны алгоритмы, подобные машинам опорных векторов.

В конце 1990-х и 2000-х годах ML начали использовать на практике. Например, компьютер IBM Deep Blue, играющий в шахматы, победил чемпиона мира Гарри Каспарова в 1997 году.

• Эпоха больших данных и глубокого обучения (2010-е-настоящее время)

Бурный рост “больших данных” и развитие вычислительной мощности в 2010-х годах привели к значительному прогрессу в области ML, особенно в “глубоком обучении”.

Джеффри Хинтон, Ян Лекун и Йошуа Бенджио, которых часто называют “Крестными отцами искусственного интеллекта”, внесли новаторский вклад в глубокое обучение и нейронные сети.

Среди заметных достижений – победа AlphaGo от Google над чемпионом мира по Go и широкое использование ML в различных секторах – от здравоохранения до финансов.

Основы машинного обучения

Ниже приведены основные концепции, которые формируют основу машинного обучения в ИИ:

• Данные (ядро машинного обучения)

Модели машинного обучения строятся на данных. Эти данные могут быть представлены во многих формах, таких как цифры, текст, изображения или звуки.

Данные могут быть помечены (при обучении под наблюдением) или немаркированы (при обучении без учителя). Помеченные данные содержат ключ к ответу (например, изображения, помеченные тем, что в них находится), в то время как немаркированные данные – нет.

• Алгоритмы (Обучающая часть машинного обучения)

Алгоритмы – это наборы правил или методов, используемых компьютерами для обучения на основе данных.

Существуют различные алгоритмы, каждый из которых подходит для определенных типов задач. Например, некоторые хороши для распознавания шаблонов (например, идентификация лиц на фотографиях), в то время как другие хороши для составления прогнозов (например, прогнозирование продаж).

• Обучение модели (Обучение Машины обучению)

При обучении алгоритму машинного обучения передаются данные для обучения. Алгоритм пытается найти закономерности или понять структуру данных.

Результатом этого обучения является “модель” – математическое представление того, чему научился алгоритм.

• Тестирование и оценка (обеспечение точности)

После обучения модель тестируется с использованием новых данных, которые она ранее не видела, чтобы оценить ее точность. Модели оцениваются на основе определенных показателей, которые варьируются в зависимости от типа задачи машинного обучения (например, точность, прецизионность, отзыв).

• Переоснащение и Недостаточная подготовка
• Переобучение: Когда модель слишком хорошо усваивает обучающие данные, включая шум и ложные шаблоны, она может плохо работать с новыми данными.
• Недостаточное соответствие: Когда модель слишком проста, она может не уловить важные закономерности в данных.

Как работает машинное обучение?

Машинное обучение работает с использованием алгоритмов для анализа данных, извлечения уроков из этих данных, а затем принятия обоснованных решений на основе полученных данных.

Давайте подробнее разберемся в работе технологии машинного обучения:

• Сбор данных: Все начинается с данных. Эти данные могут быть любыми – от чисел в электронной таблице до изображений, текста или звуков. Например, если мы хотим, чтобы система машинного обучения распознавала кошек на картинках, мы начинаем с сбора большого количества фотографий, некоторые с кошками, а некоторые без.
• Подготовка данных: Затем собранные данные подготавливаются и очищаются. Этот шаг может включать удаление ошибок, заполнение пропущенных значений или преобразование нечисловых данных в формат, понятный алгоритму, например преобразование слов в числа.
• Выбор модели: Модель машинного обучения похожа на формулу, в которой отсутствуют некоторые части. Эти недостающие части будут извлечены из данных. Существует много типов моделей, и каждая подходит для разных задач. Некоторые хороши для распознавания образов (например, кошки на фотографии), а другие хороши для составления прогнозов (например, погоды).
• Обучение модели: Здесь происходит машинное обучение. Модели передаются подготовленные данные, и она начинает учиться на них. В нашем примере распознавания кошек модель учится распознавать узоры и особенности кошек, такие как форма их ушей, глаз и узоры на меху. Модель делает множество предположений, и каждый раз, когда ее исправляют, она корректирует недостающие части для повышения точности. Этот процесс повторяется много раз, и с каждой итерацией модель все лучше справляется со своей задачей.
• Оценка модели: После обучения нам нужно проверить, насколько хорошо работает модель. Это делается с использованием нового набора данных, который он раньше не видел. Производительность модели оценивается, чтобы увидеть, соответствует ли она желаемой точности.
• Настройка модели: На основе оценки модели может потребоваться корректировка. Это может включать изменение ее настроек или предоставление дополнительных обучающих данных для повышения точности.
• Использование модели: Как только модель заработает хорошо, она готова к использованию в реальных приложениях. Например, модель, распознающая кошек, может быть использована в телефонном приложении для идентификации кошек на фотографиях пользователей.
• Обучение и адаптация: Некоторые модели машинного обучения могут продолжать учиться и адаптироваться по мере того, как они со временем подвергаются воздействию новых данных. Это означает, что они могут улучшать и корректировать свои решения на основе последней информации.

Типы машинного обучения

Существует три типа машинного обучения. Давайте подробно обсудим их здесь.:

1. Обучение под Наблюдением

Контролируемое обучение – это тип алгоритма ML, при котором мы предоставляем образцы помеченных данных в систему ML для ее обучения, и в соответствии с этим система предсказывает будущее. Здесь модель изучает функцию путем сопоставления входных данных с выходными данными на основе пар “вход-выход”.

Система использует помеченные данные для создания модели для понимания наборов данных и изучения данных. После обучения мы можем протестировать модель, предоставив ей образцы данных, и посмотреть, может ли она предсказать точный результат или нет.

2. Обучение без учителя

Неконтролируемое машинное обучение в ИИ – это алгоритм, используемый для вывода выводов из наборов данных, содержащих входные данные без помеченных ответов. Он не включает классификацию, алгоритмы и категоризацию в наблюдениях.

Например, есть коллекция изображений разных животных. Мы загружаем данные в модель, которая затем анализирует их, чтобы распознать шаблон. После завершения. Машина делит изображение на три типа в зависимости от их сходства.

3. Обучение с подкреплением

Машинное обучение с подкреплением основано на методе обучения с обратной связью, при котором агент получает вознаграждение за каждое правильное действие и штраф за каждое неправильное действие. Это позволяет агенту обучаться автоматически на основе опыта и обратной связи и повышать свою производительность.

Более того, агент исследует окружающую среду и взаимодействует с ней с целью заработать как можно больше призовых очков.

Например, вы предоставляете машине набор данных и просите ее идентифицировать конкретное животное. Машина говорит, что это кошка, что неверно, поэтому вы даете обратную связь и исправляете ее, говоря, что это не кошка; это собака. Итак, машина усвоила урок и будет помнить об этом. В следующий раз, когда вы попросите его идентифицировать животное, он скажет вам, что это собака. Это известно как усиленный ответ.

Методы машинного обучения

Машинное обучение включает в себя множество методов и подходов, каждый из которых подходит для различных типов данных и задач.

Методы Контролируемого обучения:

• Линейная регрессия: Используется для прогнозирования непрерывного значения. Например, для прогнозирования цен на жилье на основе различных характеристик, таких как размер, местоположение и т.д.
• Логистическая регрессия: Используется для задач бинарной классификации, таких как обнаружение спама (спам или не спам).
• Деревья принятия решений: Полезны как для регрессии, так и для классификации. Они моделируют решения и их возможные последствия, подобно блок-схеме.
• Случайные леса: совокупность деревьев решений, часто более точная, чем отдельное дерево решений. Подходит для классификации и регрессии.
• Машины опорных векторов (SVM): Эффективны в пространствах большой размерности, что делает их подходящими для таких задач, как классификация текста и распознавание изображений.
• Нейронные сети: Очень универсальны и способны изучать сложные паттерны. Они являются основой глубокого обучения и используются в распознавании изображений и речи, НЛП и т.д.

Методы неконтролируемого обучения:

• Алгоритмы кластеризации (например, K-средние, иерархическая кластеризация): Используются для группировки точек данных в кластеры на основе сходства.
• Анализ главных компонент (PCA): метод уменьшения размерности, используемый для уменьшения сложности данных при сохранении большей части информации.
• Автоэнкодеры: Нейронные сети, предназначенные для уменьшения размерности или изучения функций путем восстановления входных данных на выходе.

Обучение под присмотром:

Объединяет небольшое количество помеченных данных с большим количеством немаркированных данных во время обучения. Это полезно, когда получение помеченных данных является дорогостоящим или требует много времени.

Методы обучения с подкреплением:

• Q-Learning: алгоритм обучения с подкреплением без модели для изучения ценности действия в определенном состоянии.
• Разница во времени (TD): Сочетает методы Монте-Карло и динамического программирования. Используется в сценариях, где модель среды неизвестна.
• Глубокое обучение с подкреплением: Сочетает нейронные сети с архитектурой обучения с подкреплением, которая позволяет агентам научиться наилучшим действиям в виртуальной среде для достижения своих целей.

Ансамблевые методы:

• Бустинг: Объединяет несколько слабых моделей для создания сильной модели. Примеры включают AdaBoost и градиентный бустинг.
• Пакетирование: Включает в себя обучение нескольких моделей (обычно одного типа) на разных подмножествах обучающих данных с последующим усреднением прогнозов.

Методы глубокого обучения:

• Сверточные нейронные сети (CNN): Особенно используются для обработки данных с сетчатой топологией, таких как изображения.
• Рекуррентные нейронные сети (RNN): Подходят для обработки последовательных данных, таких как временные ряды или текст.
• Сети долговременной кратковременной памяти (LSTM): Особый вид RNN, способный изучать долгосрочные зависимости, широко используемый в НЛП.

Использование и прикладные программы машинного обучения

Машинное обучение стало преобразующей технологией, влияющей на многие отрасли промышленности и повседневную жизнь. Вот некоторые из основных видов использования машинного обучения:

1. Здравоохранение и медицинская диагностика

• Алгоритмы машинного обучения могут анализировать медицинские изображения, такие как магнитно-резонансная томография и рентгеновские снимки, для более точного и быстрого выявления таких заболеваний, как рак, чем традиционные методы.
• Прогностическая аналитика в здравоохранении использует данные о пациентах для раннего выявления риска заболевания, помогая в профилактической помощи.

2. Финансовые услуги

• В финансах машинное обучение используется для алгоритмической торговли, обнаружения мошенничества, кредитного скоринга и управления финансовыми рисками.
• Он может анализировать рыночные тенденции для прогнозирования динамики акций и автоматизации торговой деятельности.

3. Розничная торговля и электронная коммерция

• Машинное обучение помогает персонализировать процесс покупок, рекомендуя товары на основе просмотра и истории покупок.
• Это оптимизирует управление запасами и улучшает обслуживание клиентов с помощью чат-ботов.

4. Обработка естественного языка (НЛП)

• НЛП использует машинное обучение для понимания и интерпретации человеческого языка, позволяя использовать такие приложения, как распознавание речи, языковой перевод и анализ настроений.
• Эта технология позволяет использовать виртуальных помощников, таких как Siri и Alexa, а также инструменты для автоматического перевода, такие как Google Translate.

5. Автономные транспортные средства и усовершенствованные системы помощи водителю (ADAS)

• Алгоритмы машинного обучения имеют решающее значение при разработке самоуправляемых автомобилей. Они обрабатывают данные с датчиков автомобиля для принятия решений о рулевом управлении, торможении и навигации.
• ADAS использует машинное обучение для таких функций, как предупреждение о выезде с полосы движения, адаптивный круиз-контроль и обнаружение пешеходов.

6. Маркетинг и управление взаимоотношениями с клиентами

• Машинное обучение анализирует данные о клиентах для целевого маркетинга, улучшения вовлеченности клиентов, сегментации и стратегий удержания.
• Это также помогает прогнозировать отток клиентов и оптимизировать маркетинговые кампании.

7. Кибербезопасность

• Машинное обучение повышает кибербезопасность за счет выявления закономерностей и аномалий, указывающих на потенциальные угрозы, такие как вредоносное ПО или сетевые вторжения.
• Он постоянно обучается и адаптируется к новым типам киберугроз.

8. Производство и цепочка поставок

• Прогнозное техническое обслуживание, основанное на машинном обучении, позволяет прогнозировать отказы оборудования и планировать своевременное техническое обслуживание, сокращая время простоя.
• В цепочке поставок машинное обучение оптимизирует логистику, прогнозирование спроса и управление запасами.

9. Анализ изображений и видео

Алгоритмы машинного обучения используются в системах распознавания лиц и для анализа видеоконтента в целях наблюдения за безопасностью, анализа поведения толпы и модерации контента на социальных платформах.

10. Сельское хозяйство

Машинное обучение помогает в точном земледелии, которое включает анализ данных о почве, прогнозах погоды и мониторинге урожая, что позволяет лучше прогнозировать урожайность и управлять ресурсами.

11. Развлечения и средства массовой информации

Потоковые сервисы, такие как Netflix и Spotify, используют машинное обучение для персонализированных рекомендаций по контенту на основе пользовательских предпочтений и истории просмотра / прослушивания.

12. Научные исследования и разработки

В научных исследованиях машинное обучение помогает анализировать большие наборы данных, например, в геномике и поиске лекарств.