Машинное обучение: почему так востребовано и в каких сферах применяют

Когда мы регистрируемся на вебинар через чат-бота или просим голосовой помощник включить любимую песню, то не задумываемся, как работают данные технологии. На первый взгляд, это простые инструменты, но за ними стоит сложный процесс разработки с элементами машинного обучения.
Машинное обучение и программирование — две разные технологии. Для создания программ разработчику необходимо написать алгоритм — определенную последовательность действий, благодаря которому машина выдает нужный результат.
ML-инженер не пишет программу для компьютера, а обучает его искать взаимосвязи данных и на их основе самостоятельно принимать решения. То есть у алгоритма нет заданного результата, ему необходимо самостоятельно построить модель, которая ответит на поставленный вопрос. Задача машинного обучения — научить систему саму находить правильное решение.
Почему машинное обучение так востребовано
С помощью этой технологии можно разрабатывать машины и программы, которые мыслят почти как человек. Но при этом могут работать без перерыва на отдых, совершать меньше ошибок и обрабатывать любое количество данных.
Пройдите онлайн-курсы бесплатно и откройте для себя новые возможности Начать изучение
В каких сферах используется машинное обучение
Способность компьютера обрабатывать и запоминать данные, анализировать и составлять прогнозы применяется практически везде. Приведем примеры, как отрасли используют модели машинного обучения.
- Банки. Специальная программа скоринг помогает обрабатывать большое количество кредитных анкет. Данная модель автоматически оценивает клиента: считает кредитный рейтинг, определяет его платёжеспособность и принимает решение — одобрить запрос или отказать.
- Маркетинг. Когда социальная сеть показывает рекламу или рекомендует разные сообщества определенной аудитории — это классический вариант применения машинного обучения.
- Медицина. В качестве примера можно привести программы, которые предварительно изучают большое количество снимков и запоминают разные патологии, а затем могут обрабатывать снимки новых пациентов и ставить по ним правильные диагнозы.
- Сельское хозяйство. Разработаны модели, которые способны исследовать состав почвы, подбирать необходимое количество удобрений и прогнозировать урожайность.
Как проходит процесс обучения машины
Искусственный интеллект не может сам анализировать данные или предсказывать их. Чтобы машина поняла, какие фильмы вы любите или какие новости вам будут интересны, её необходимо научить работать с информацией. Этим занимается специалист по Data Science.
Объясняем на простом примере, как проходит обучение: модель — это своего рода черный ящик. Он получает на входе определенные данные — условия задачи, а на выходе выдает какой-то ответ. Этот ящик наделяют разными дополнительными параметрами, которые и определяют, каким способом будут обрабатываться данные.
Когда мы что-то изучаем, то выполняем практически те же действия. Например, чтобы выучить наизусть стихотворение, необходимо несколько раз его прочитать и повторить. А чтобы решить задачу по математике, необходимо разобрать условия и подобрать нужный алгоритм. Эти виды обучения похожи на подбор, который настраивается в компьютере в зависимости от типов машинного обучения.
Если вы хотите пройти обучение и вместе с командой разработать программы с искусственным интеллектом, то вам точно будет интересен наш проект «Цифровой прорыв. Сезон: искусственный интеллект».
Читайте нас в Telegram — stranavozmojnostey Поделиться в социальных сетях
Выдавать кредиты, диагностировать болезни, управлять заводами: где применяется машинное обучение

Машинное обучение (Machine Learning) — это прежде всего прикладной инструмент. Он помогает людям в диагностике болезней на ранних этапах, защите клиентов банка от мошенничества, а также управлении сложными производствами. Где применяется ML и в каких сферах может найти себя специалист по машинному обучению, разбираемся с экспертами магистратуры Skillfactory и УрФУ «Инженерия машинного обучения».

Освойте профессию «Data Scientist»
Финтех: кредитный скоринг, защита клиентов, поиск мошенников
В финтехе и банках очень много решений сейчас принимается с помощью машинного обучения. Алгоритм помогает, например, решать задачи кредитного скоринга. Обрабатывая данные о клиенте из анкеты и открытых источников, система делает вывод о том, стоит выдавать кредит клиенту или нет. Это помогает менеджерам принимать решения и снижать риски для банка. Также ML-модели могут отслеживать платежи и находить среди них мошеннические, когда кто-то украл карту клиента и пытается вывести с нее деньги. Машинное обучение помогает банкам искать клиентов в открытых источниках, например в реестрах юрлиц, отслеживать их отток, понимать, что клиент собирается уйти, и дает рекомендации, чтобы его удержать.
Медицина: диагностика болезней на ранней стадии
Диагностика — одно из важных направлений машинного обучения. Сейчас законодательно все устроено так, что поставить пациенту диагноз и назначить лечение может только человек. Все, что разрабатывается в сфере машинного обучения, — это системы помощи врачу. Чаще всего для анализа при помощи моделей используются медицинские изображения: МРТ, КТ, флюорография. В текстовом анализе, как правило, написано число по определенному параметру (например сахар в крови) и границы допустимых значений. Такой результат может прочитать любой врач, они понимают, что означает выход за границу допустимых значений. С медицинскими изображениями все сложнее. Безусловно, технически мы можем сделать идеальное изображение всего, что у человека есть внутри. Но для этого нужно хорошо просветить тело радиацией, и человеку от этого будет очень плохо. Если же мы делаем изображения, которые не вредят здоровью, то качественную картинку получить невозможно. Она чаще всего зашумленная, и на ней сложно что-либо различить. Чтобы работать с такими изображениями, врачи специально учатся диагностике. К сожалению, специалистов, которые могут читать медицинские изображения, не хватает. Многие больницы сейчас покупают качественное оборудование, но врачей, которые могут интерпретировать результаты, просто нет. Чем здесь могут помочь системы помощи медицинским специалистам? При помощи алгоритмов компьютерного зрения они анализируют изображение и выделяют области интереса: есть ли на картинке что-то нетипичное, на что стоит обратить внимание. Проанализировав область интереса, модель может определить, например, что на изображении — с высокой вероятностью туберкулез. После этого анализа изображение смотрит врач и подтверждает или опровергает диагноз, отправляет пациента на дообследование. Актуальное направление разработки сейчас — обследования, которые помогают видеть заболевания на ранней стадии развития, когда врач может еще не замечать их на медицинском изображении.
Образование: цифровые лекторы и ассистенты

Образование — пока что неосвоенная сфера для ML, но и здесь есть свои интересные кейсы. Например, сервис Visper от Сбера дает инструменты для онлайн-обучения. Чтобы организовать лекцию, нужно либо подключать студентов онлайн в Zoom, либо записывать уроки. Для этого нужно идти в студию, делать запись, что чаще всего долго и дорого. Visper позволяет сгенерировать цифровой аватар лектора, который озвучит в уроке написанный для него текст. Дальше нужно просто добавить в видео с персонажем презентацию — и онлайн-урок готов. Также есть интересный американский кейс с участием IBM. Еще до пандемии компания поучаствовала в создании онлайн-курсов. В программе принимали участие много студентов, и у всех в ходе самостоятельной работы возникали дополнительные вопросы. На эти вопросы им отвечали ассистенты. В конце семестра прошло голосование за лучшего ассистента. Больше всего голосов получила Джилл Ватсон — по мнению студентов, она лучше всех отвечала на вопросы. Оказалось, что это был не человек, а суперкомпьютер IBM Watson.
Промышленность: контроль качества
В промышленности очень много данных и очень много задач для алгоритмов: безопасность на производстве, автоматизация, контроль качества продукции. УрФУ недавно участвовал в хакатоне от компании ТМК, которая делает трубы для нефтепроводов. Трубы должны быть качественными, потому что, если их прорвет, это будет экологическая катастрофа. Ущерб от такого происшествия несопоставим со стоимостью трубы, поэтому для ТМК очень важно делать продукт высокого качества. Вопрос в том, как это качество контролировать. На одном из этапов трубу просвечивают рентгеновским излучением. Снимок позволяет увидеть внутренние дефекты. Чтобы проконтролировать качество, нужен специалист, который будет сидеть и постоянно смотреть на эти изображения. Понятно, что человек не может проводить такой контроль стабильно качественно. Для этого на хакатоне студенты создали прототип системы компьютерного зрения, которая отслеживает дефекты и сообщает о них сотруднику.
Автомобили без водителей

На сегодня в России законодательно разрешен проезд автомобилей без водителя в Москве, Московской области и Татарстане. По Иннополису уже ездят Яндекс.Такси без водителя. Проблема этого направления в том, что цена ошибки тут очень высока. Когда разработчики научатся решать проблемы, беспилотники появятся на улицах всех городов. Я верю, что это наше будущее уже через пять лет. КАМАЗ занимается разработкой грузовиков без водителя, Россельмаш — беспилотных комбайнов, а Уралмаш начал думать о том, чтобы производить экскаваторы без водителя. Это очень перспективное направление.
Фармакология: проектирование лекарств

Один из последних прорывов машинного обучения в науках о жизни — при помощи нейронных сетей научились определять трехмерную структуру белка. Это упрощает процесс разработки новых лекарств. Например, когда мы расшифровываем геном какого-либо вируса, получаем одномерную последовательность, в то время как в реальности белки трехмерные. Чтобы определить трехмерную структуру генома, требуются длительные, на несколько месяцев эксперименты. А для того чтобы получить одно лекарство, таких экспериментов нужно несколько. Это долго и дорого. Выяснилось, что при помощи нейросетей можно получить трехмерную структуру белка и определить, будет ли он взаимодействовать с вирусом нужным образом. Такую модель создала компания DeepMind. Для разработки алгоритма AlphaFold создатели использовали информацию о структурах 170 тысяч белков. Эта разработка позволит быстрее проектировать лекарства и вакцины и с высокой точностью прогнозировать их эффективность.
Информационная безопасность
Как сейчас работают системы обнаружения вторжений? По так называемой сигнатуре атаки: когда вторжение произошло, производители антивирусов изучают, какие действия были произведены. Их записывают в сценарий антивируса: если происходят вот такие действия, то это атака вот такого типа и нужно ее остановить. Но это означает, что нет возможности остановить новые атаки — такие, которые раньше не происходили. Машинное обучение в информбезопасности используется как раз, чтобы обнаруживать атаки нового вида, которых раньше никто никогда не видел. Информационной безопасности был посвящен недавний хакатон Skillfactory. Данные предоставил сингапурский университет, который собрал уменьшенную копию реального завода по очистке воды. В Сингапуре он снабжает две трети города — если этот завод остановится, все останутся без воды. Задачей было разработать систему, которая может определять вторжения двух видов: виртуальные и атаки на оборудование. Участники команды УрФУ для решения задачи применяли обучение модели с учителем и без учителя. В первом случае разработчики создали 10 моделей, из которых выбрали и протестировали три эффективные. По итогам экспериментов лучше всего себя показал метод дерева решений, он предсказывал возможность атаки с высокой точностью. Также участники создали модель для поиска аномалий в работе завода, которая находила нетипичные ситуации, — для этого применили нейронную сеть. В итоге решение этой команды оказалось лучшим на хакатоне. Синергия онлайн-образования и фундаментального университетского подхода — на онлайн-программе от SkillFactory совместно с МИФИ. На программе «Специалист по Data Science» вы изучите науку о данных с преподавателями МИФИ и практикуйтесь на реальных кейсах VK, Danone, devhub и Агентство Инноваций города Москвы. Подойдет абитуриентам без технического образования и глубокого опыта в IT. Эксперты в Data Science помогут вам влиться в новую среду, а специалисты Центра карьеры — найти стажировку и работу в IT.
Где применяется машинное обучение

Машинное обучение – один из методов реализации приложений искусственного интеллекта, и с его помощью искусственный интеллект значительно продвинулся вперед. Но, хотя этот метод действительно очень важен, это далеко не первый значительный шаг в истории искусственного интеллекта: когда-то не менее важными казались экспертные системы, логический вывод и многое другое. Несомненно, в будущем появятся и новые технологии искусственного интеллекта, которые не будут относиться к машинному обучению.
Модели, виды и параметры машинного обучения
Самая простая модель имеет всего два параметра. Если нужно предсказать результат, линейно зависящий от входного признака, достаточно найти параметры a и b в уравнении прямой линии y=ax+b. Такая модель строится с помощью линейной регрессии. На следующем рисунке показана модель, предсказывающая «уровень счастья» человека по его собственной оценке в зависимости от уровня его дохода (красная линия):

К сожалению, в реальной жизни простые линейные зависимости встречаются крайне редко. Даже на этом графике видно, что высокий уровень дохода выбивается из линейной зависимости – одних денег для счастья все-таки недостаточно. Даже полиномиальные модели, имеющие количество параметров, равное степени полинома, пригодны лишь для очень простых задач.
Современная революция в машинном обучении связана с нейронными сетями, обычно имеющими тысячи или даже миллионы параметров. Такие сети могут усваивать очень сложные признаки, необходимые для решения сложных задач. На следующем рисунке приведен пример архитектуры нейронной сети с двумя скрытыми слоями.

Хотя алгоритм обратного распространения ошибки (backropagation) был придуман довольно давно, до недавнего времени не было технических возможностей для реализации глубоких нейронных сетей, содержащих большое количество слоев. Быстрое развитие микроэлектроники привело к появлению высокопроизводительных GPU и TPU, способных обучать глубокие нейронные сети без суперкомпьютеров. Именно широкое распространение глубокого обучения стоит за тем бумом искусственного интеллекта, о котором вы слышите отовсюду.
Типы машинного обучения
Машинное обучение требует много данных. В идеале, тренировочные данные должны описывать все возможные ситуации, чтобы модель могла подготовиться ко всему. Конечно, на практике добиться этого невозможно, но нужно стараться, чтобы тренировочный набор был достаточно разнообразным.
Стратегия обучения выбирается в зависимости от поставленной задачи и имеющихся данных для обучения. Выделяют обучение с учителем (supervised learning), обучение без учителя (unsupervised learning) и обучение с подкреплением (reinforcement learning).

Обучение с учителем
Это обучение на примерах, при котором «учителем» называются правильные ответы, которые, в идеале, должна выдавать модель для каждого случая. Эти ответы называются метками (название происходит из задач классификации, модели которых практически всегда обучаются с учителем – там эти ответы являются метками классов), а данные с метками – размеченными.
Обучение с учителем – это обучение на примерах. Представьте, что школьнику показали несколько методов решения задач, а потом заставили решить огромное количество таких задач, предоставив правильные ответы для каждой. Если школьник решит все эти задачи, и в каждой получит правильный ответ, то можно считать, что он усвоил методы решения таких задач.
К сожалению, с моделями машинного обучения все не так просто, поскольку мы сами не знаем, какой ответ будет «правильным» для каждого случая! Ведь именно для получения этих ответов нам и нужна модель. И практически всегда нам нужно, чтобы модель хорошо усвоила зависимость результата от входных признаков, а не точно повторяла результаты тренировочного набора, который в реальной жизни может содержать и ошибочные результаты (шум). Если модель выдает верные результаты на всем тренировочном наборе, но часто ошибается на новых данных, говорят, что она переобучена на этом наборе.

Обучение без учителя
Некоторые задачи можно решить и без размеченных тренировочных данных – например, задачи кластеризации. Модель сама решает, как надо сгруппировать данные в кластеры, чтобы похожие экземпляры данных попадали в один кластер, а непохожие – не попадали.
Такую стратегию обучения, использует, например, Airbnb, объединяя в группы похожие дома, и Google News, группируя новости по их темам.
Частичное привлечение учителя
Как и предполагает название, обучение с частичным привлечение учителя (semi-supervised learning) – это смесь обучения с учителем и без него. Этот метод использует небольшое количество размеченных данных и множество данных без меток. Сначала модель обучается на размеченных данных, а затем эта частично обученная модель используется для разметки остальных данных (псевдо-разметка). Затем вся модель обучается на смеси размеченных и псевдо-размеченных данных.
Популярность такого подхода резко выросла в последнее время в связи с широким распространением генеративных состязательных сетей (GAN), использующих размеченные данные для генерации совершенно новых данных, на которых продолжается обучение модели. Если частичное привлечение учителя когда-нибудь станет не менее эффективным, чем обучение с учителем, то огромные вычислительные мощности станут более важными, чем большое количество размеченных данных.
Обучение с подкреплением
Это обучение методом проб и ошибок. Каждый раз, когда модель достигает поставленной цели, она получает «поощрение», а если не получает – «наказание». Эта стратегия обычно используется для обучения моделей, непосредственно взаимодействующих с реальным миром: моделей автоматического вождения автомобилей, игры в различные игры и т.д.
Отличный пример модели, обученной с подкреплением – нейронная сеть Deep Q от Google, победившая людей во множестве старых видеоигр. После длительного обучения модель усваивает правильную стратегию поведения, приводящую к победе.
Лучшие курсы для изучения машинного обучения

- Самый популярный курс основ машинного обучения для новичков – бесплатная серия лекций Стэнфордского университета на Coursera от легендарного эксперта в ИИ и основателя Google Brain Эндрю Ына (Andrew Ng). Недавно Эндрю Ын выпустил курс специализации в глубоком обучении, который рассматривает различные архитектуры нейронных сетей и прочие темы машинного обучения.
- Если вы предпочитаете подход «сверху вниз», при котором вы сначала запускаете обученные модели машинного обучения, и только потом углубляетесь в их внутренности, обратите внимание на курс «Практическое глубокое обучение для кодировщиков» от fast.ai. Этот курс особенно рекомендуется программистам, имеющим не менее года опыта работы на Python. Курс Эндрю Ына предоставляет обзор теоретических основ машинного обучения, а курс fast.ai построен вокруг Python’а – языка программирования, широко используемого в машинном обучении.
- Еще один курс, высоко оцениваемый не только за уровень преподавания, но и за широкий обзор рассматриваемых тем – «Введение в машинное обучение» от EdX и Колумбийского университета, хотя он и требует знания математики на университетском уровне.
- На русском языке, пожалуй, лучший курс машинного обучения предлагает факультет искусственного интеллекта GeekBrains. Этот курс занимает целых полтора года и при успешном освоении выведет вас на довольно высокий уровень, достаточный для трудоустройства.
Сферы применения машинного обучения
Машинное обучение имеет огромное количество применений, но особенно выделяются два крупных и важных направления: машинное зрение (computer vision, CV) и обработка естественного языка (natural language processing, NLP), каждое из которых объединяет множество различных задач.

Машинное зрение
Машинное зрение – это все приложения, включающие обработку изображений и видео. В частности, современные модели способны решать следующие задачи машинного зрения:

- Выделение сущностей определенных классов в изображении. Например, модель YOLO помечает рамками найденные объекты и выводит метки их классов.
- Распознавание людей по их лицам (служит для обнаружения преступников, идентификации для безопасного доступа к охраняемым объектам, введения ограничений по возрасту и т.п.)
- Медицинская диагностика. Современные модели способны распознавать многие виды заболеваний по фотографиям пациентов, особенно если к ним добавляются снимки рентгенографии и МРТ.
- Автоматическое вождение автомобиля. Эта задача состоит из многих подзадач: идентификация других автомобилей, пешеходов и прочих объектов на дороге, определение скорости и направления движения других объектов, принятие правильных решений в различных ситуациях, и так далее.
- Воздушная разведка. Современные дроны могут намного больше, чем подчиняться командам человека, передаваемым по радио. Они могут не только распознавать военную технику и направление ее передвижения, но и ее маркировку.
- Автоматическая генерация изображений – в том числе, человеческих лиц и тел.
Обработка естественного языка
Обработка естественного языка – это революция в области интерфейса между человеком и компьютером. Она включает в себя следующие задачи:
- Распознавание речи. Современные модели способны распознавать человеческую речь практически с такой же точностью, как другие люди.
- Машинный перевод с одного языка на другой. Одна из самых старых и самых известных задач искусственного интеллекта вышла на новый уровень благодаря машинному обучению.
- Анализ тональности текста. Определение эмоционального отношения автора текста к описываемым объектам или сущностям.
- Поиск ответов на вопросы. Современные поисковые системы практически всегда находят документы с ответами на заданные людьми вопросы, если они существуют.
- Выделение заданных сущностей из текста (например, поиск текста, имеющего отношение к чистоте атмосферы).
- Автоматическая генерация текста. Современные модели умеют генерировать тексты разных стилей и направлений, которые далеко не всегда можно отличить от текстов, написанных человеком.
- Синтез речи. Компьютеры уже давно не разговаривают «как роботы» – синтезированную ими речь практически невозможно отличить от человеческой.
Хочу подтянуть знания по математике, но не знаю, с чего начать. Что делать?
Если базовые концепции языка программирования можно достаточно быстро освоить самостоятельно, то с математикой могут возникнуть сложности. Чтобы помочь освоить математический инструментарий, «Библиотека программиста» совместно с преподавателями ВМК МГУ разработала курс по математике для Data Science, на котором вы:
- подготовитесь к сдаче вступительных экзаменов в Школу анализа данных Яндекса;
- углубитесь в математический анализ, линейную алгебру, комбинаторику, теорию вероятностей и математическую статистику;
- узнаете роль чисел, формул и функций в разработке алгоритмов машинного обучения.
- освоите специальную терминологию и сможете читать статьи по Data Science без постоянных обращений к поисковику.
Курс подойдет как начинающим специалистам, так и действующим программистам и аналитикам, которые хотят повысить свой уровень или перейти в новую область.
Машинное обучение: просто о сложном

За последние 15 лет машинное обучение (machine learning, ML) получило широкое распространение, но большинство людей не до конца не осознает его роль в повседневной жизни. Многие из нас ежедневно используют приложения, в основе которых лежат технологии искусственного интеллекта (ИИ) и машинного обучения. Эти технологии уже стали причиной революции во многих отраслях, например, способствовали появлению виртуальных помощников, таких, как Siri или семейства виртуальных ассистентов Салют (Сбер, Джой, Афина), позволили осуществлять прогнозирование трафика с помощью Google Maps. Рассказываем простыми словами, что такое machine learning, что оно представляет из себя сегодня и какие преимущества способно обеспечить компаниям из разных сфер деятельности.
Что такое машинное обучение?
Машинное обучение — это специализированный способ, позволяющий обучать компьютеры, не прибегая к программированию. Отчасти это похоже на процесс обучения младенца, который учится самостоятельно классифицировать объекты и события, определять взаимосвязи между ними.
ML открывает новые возможности для компьютеров в решении задач, ранее выполняемых человеком, и обучает компьютерную систему составлению точных прогнозов при вводе данных. Оно стимулирует рост потенциала искусственного интеллекта, являясь его незаменимым помощником, а в представлении многих даже синонимом.
Наконец, машинное обучение — одна из наиболее распространенных форм применения искусственного интеллекта современным бизнесом. Если компания еще не использует ML, то в ближайшее время наверняка оценит его потенциал, а ИИ станет основным двигателем IT-стратегии многих предприятий. Ведь искусственный интеллект уже сегодня играет огромную роль в трансформации развития ИТ-индустрии: клиенты больше внимания уделяют интеллектуальным приложениям, чтобы развивать свой бизнес с помощью ИИ. Он применим к любому рабочему процессу, реализованному в программном обеспечении, — не только в рамках традиционной деловой части предприятий, но также в исследованиях, производственных процессах и, во все большей степени, самих продуктах.
Примечание
На международной конференции по искусственному интеллекту и анализу данных Artificial Intelligence Journey (AI Journey) президент по глобальным продажам, маркетингу и операциям Microsoft Жан-Филипп Куртуа сообщил , что пандемия COVID-19 форсировала интерес к использованию машинного обучения: 80% компаний уже внедряют его в свою деятельность, а 56% планируют увеличить объем инвестиций в эту сферу.
Необычайный успех machine learning привел к тому, что исследователи и эксперты в области ИИ сегодня по умолчанию выбирают этот метод для решения задач.
Machine Learning: принципы и задачи
В основе машинного обучения лежат три одинаково важных компонента:
- Данные. Собираются всевозможными способами. Чем больше данных, тем эффективней машинное обучение и точнее будущий результат.
- Признаки. Определяют, на каких параметрах строится машинное обучение.
- Алгоритм. Выбор метода машинного обучения (при условии наличия хороших данных) будет влиять на точность, скорость работы и размер готовой модели.
Примечание
Доверие к результатам машинного обучения должно строиться на понимании: они хороши настолько, насколько хороши данные, на которых обучается алгоритм.
В основу существования и развития машинного обучения легли три основных принципа:
- Инновационность: возможности ML открывают новые перспективы развития и роста практически всех отраслей экономики.
- Специфичность: машинное обучение применяется для внедрения и разработки новых продуктов исключительно людьми, которые разбираются в IT-технологиях.
- Простота: продукты, реализуемые с использованием технологий машинного обучения, становятся понятны даже школьникам и людям преклонного возраста.
Задачи, которые способно решить машинное обучение, напрямую определяют выгоды для бизнеса и возможности решения социальных проблем государствами разных стран. К основным задачам относятся:
- Регрессия. Предоставляет прогноз на основе выборки объектов с различными признаками.По итогам анализа данных на выходе получается число или числовой вектор. Например, таким образом работает кредитный скоринг — оценка кредитоспособности потенциального заёмщика.
- Классификация. Выявляет категории объектов на основе имеющихся параметров. Продолжает традиции машинного зрения, поэтому часто можно встретить термин «распознавание образов»: например, идентификация разыскиваемых людей по фото или на основании словесного описания внешности.
- Кластеризация. Разделяет данные на схожие категории по объединяющему признаку. Например, космические объекты кластеризируют по удаленности, размерам, типам и другим признакам.
- Идентификация. Отделяет данные с заданными параметрами от остального массива данных. К примеру, участвует в постановке медицинского диагноза по набору симптомов.
- Прогнозирование. Работает с объемами данных за определенный период и предсказывает на основе анализа их значение через заданный период времени. Примером может служить прогноз погоды.
- Извлечение знаний. Исследует зависимости между рядом показателей одного и того же явления или события. Например, находит закономерности во взаимодействии биржевых показателей.
Как видим, спектр задач машинного обучения широк, что подтверждает его перспективность в использовании как коммерческими предприятиями, так и в социальных проектах.
Как это работает: типы машинного обучения
Для простоты восприятия типы машинного обучения принято разделять на три категории:

- обучение с учителем (supervised learning);
- обучение без учителя (unsupervised learning);
- обучение с подкреплением (reinforcement learning).
Обучение с учителем
Этот тип максимально похож на процесс познания окружающего мира ребенком, только в роли малыша выступает алгоритм. Данные, подготовленные для анализа, изначально содержат правильный ответ, поэтому цель алгоритма — не ответить, а понять, «Почему именно так?» путем выявления взаимосвязей. Результатом становится способность выстраивать корректные прогнозы и модели.
Обучение без учителя
Для данного типа обучения ключевым понятием является паттерн — обрабатывая значительные массивы данных, алгоритм должен сперва самостоятельно выявлять закономерности. На следующем этапе на основе выявленных закономерностей машина интерпретирует и систематизирует данные.
Обучение с подкреплением
Принципы обучения с подкреплением заимствованы из психологических экспериментов: машина пытается найти оптимальные действия, которые будет предпринимать, находясь в наборе различных сценариев. Эти действия могут иметь как краткосрочные, так и долгосрочные последствия, а от алгоритма требуется обнаружить эти связи.
Инструменты machine learning
Инструменты машинного обучения используют на следующих этапах:
- сбор и подготовка данных;
- построение модели;
- обучение и развертывание приложений.
Для выполнения каждого из этих этапов применяются специализированные платформы. Они различаются по языку программирования (Python, Cython, C, C++, CUDA, Java), операционным системам (Linux, Mac OS, Windows) и тому, какие задачи можно решить с их помощью.
Сегодня на рынке представлено несколько десятков программных инструментов:
- TensorFlow;
- Shogun;
- Keras.io;
- Rapid Miner;
- Google Cloud ML Engine;
- Amazon Machine Learning (AML);
- Accord.NET;
- Apache Mahout;
- Microsoft Azure ML;
- SberCloud ML Space
Практическое применение ML-технологий
Машинное обучение уже применяется во всех сферах деятельности человека. Еще в 2017 году под управлением Стэнфордского университета был запущен новый индекс AI100 для отслеживания динамики в сфере ИИ. Согласно данным, полученным университетом, количество стартапов с 2000 по 2018 год выросло в 14 раз. Рассмотрим, в каких областях нас ждут технологические прорывы благодаря ML.
Робототехника
В будущем роботы станут самообучаться ранее поставленным перед ними задачам. К примеру, смогут работать над добычей полезных ископаемых — нефти, газа и других. Они смогут, например, изучать морские глубины, тушить пожары. Программисты могут самостоятельно не писать массивные и сложные программы, опасаясь допустить ошибку в коде. ИИ повлияет и на повышение качества частной жизни человека: у нас уже есть беспилотные автомобили, роботы-пылесосы, трекеры сна, физической активности и здоровья и прочие продукты интернета поведения.
Маркетинг
Самый наглядный пример использования машинного обучения в маркетинге — поисковые системы Google и Яндекс, которые с его помощью контролируют релевантность рекламных объявлений.Социальные сети FaceBook, ВКонтакте, Instagram и другие применяют собственные аналитические машины для исследования интересов пользователей и совершенствования персонализации новостной ленты.Маркетинговые исследования, предваряющие разработку и релиз продуктов компании, станут проще с точки зрения реализации, а итоговые данные будут более точными. Выделение кластеров в группах со схожими параметрами превратит кастомизированные предложения в реальность — можно будет решать задачи не групп потребителей, а каждого в отдельности.
Безопасность
Современную сферу обеспечения безопасности невозможно представить без машинного обучения. Системы распознавания лиц в метро и использование камер, сканирующих лица и номера машин при движении по автодорогам, стали неотъемлемой частью человеческой жизни и незаменимыми помощниками для полиции в поиске преступников и потерявшихся людей.
Финансовый сектор и страхование
Более точные биржевые прогнозы и оценка капитализации брендов, решения о выдаче кредитных продуктов частным лицам и предприятиям, определение стоимости и целесообразности страховки и даже снижение очередей в офисах при параллельном сокращении издержек на персонал — только часть возможностей, которые станут доступны в этой сфере.
Общественное питание
На основе Big Data разрабатываются специальные предложения для гостей с учетом загрузки посадочных мест в ресторанах и кафе, функционируют сервисы по планированию закупок для поваров.
Примечание
Воронежская пивоварня Brewlok и разработчики из NewShift решили использовать возможности Big Data для разработки рецепта идеального пива. На протяжении месяца они собирали отзывы и выделяли критерии оценки вкуса, аромата и цвета. На основе полученных данных из почти двух с половиной тысяч отзывов аналитики сформулировали описание «идеального пива», которое легло в основу рецепта.
Медицина
В медицинских учреждениях машинное обучение позволяет быстро обрабатывать данные пациента, производить предварительную диагностику и подобрать индивидуальное лечение, опираясь на сведения о заболеваниях пациента из базы данных. ML также позволяет автоматически выделять группы риска при появлении новых штаммов вирусных заболеваний.
Добыча полезных ископаемых
Анализ почвы доказывает или опровергает наличие полезных ископаемых, помогает очертить площадь будущей разработки.
Примечание
Серьезным препятствием для повсеместного использования технологий машинного обучения был недостаток у значительного количества компаний финансовых ресурсов и инфраструктуры. Специалисты SberCloud разработал ML Space — платформу для ML-разработки полного цикла и совместной работы Data Science-команд над созданием и развертыванием моделей машинного обучения. Сервис предоставляет уникальную возможность эффективного внедрения машинного обучения в бизнес-процессы.
Резюме
Технологии машинного обучения уже стали частью повседневной жизни, при этом количество стартапов и продуктов на основе машинного обучения активно растет. Будучи причиной технологических революций в некоторых сферах экономики, ML способно быть драйвером в масштабах бизнеса и государств. Сегодня самое время задуматься об интеграции машинного обучения в бизнес-процессы, чтобы не утратить конкурентоспособность.
Технологии искусственного интеллекта и машинного обучения уже определяют экономический успех предприятий. По данным консалтинговой компании Gartner порядка 50% процессов в сфере обработки и анализа данных будут автоматизированы с помощью ИИ к 2025 году, что снизит острую нехватку высококвалифицированных специалистов. Компания SberCloud следует самым современным трендам. ИИ является неотъемлемой частью разработки наших продуктов и услуг. SberCloud располагает достаточными материальными ресурсами: это и самый мощный в России суперкомпьютер “Кристофари”, облачная инфраструктура и платформа ML Space. Платформа позволяет ускорить, оптимизировать и упростить процесс обучения моделей, препроцессинга данных и развертывания моделей на высокопроизводительной инфраструктуре с целью последующего обращения к этим моделям для распознавания или прогнозирования по новым данным. Сегодня ML Space — это единственная в мире облачная платформа, позволяющая обучать модели более чем на 1000 графических процессоров (GPU) Мария Рябенко Старший технический писатель направления AI Cloud
Источники
- Информационно-аналитический ресурс по машинному обучению
- Wikipedia.org
- Machine learning and learning theory research
Запросите бесплатную консультацию по вашему проекту