Computer vision что это

Как разобраться с Computer Vision

Технологии компьютерного зрения помогают робомобилю отличить фонарный столб от оленя, а роботу-курьеру — не перепутать газон с тротуаром. Еще они позволяют распознать человека в толпе, модерировать контент в соцсетях, диагностировать болезнь по рентгеновскому снимку, отличить кота от собаки, а корги — от лабрадора. Специалистов по Computer Vision пока не так много, а спрос на них растет с каждым годом. Рассказываем, как изучить новую технологию, не выходя из дома.

Технологии компьютерного зрения помогают робомобилю отличить фонарный столб от оленя, а роботу-курьеру — не перепутать газон с тротуаром. Еще они позволяют распознать человека в толпе, модерировать контент в соцсетях, диагностировать болезнь по рентгеновскому снимку, отличить кота от собаки, а корги — от лабрадора. Специалистов по Computer Vision пока не так много, а спрос на них растет с каждым годом. Рассказываем, как изучить новую технологию, не выходя из дома.

Компьютерное зрение (Computer Vision, CV) — это область искусственного интеллекта, связанная с анализом, классификацией и распознаванием изображений и видео. В основе CV-систем обычно лежат алгоритмы на базе машинного обучения — с их помощью они учатся отличать одни объекты от других, видеть паттерны и закономерности. Человек учится распознавать образы в процессе знакомства с окружающим миром — еще в детстве он запоминает, чем отличается кошка от собаки, а интерфейс Among Us — от интерфейса Minecraft. Компьютер «мыслит» иначе — чтобы научить систему распознавать образы, ей нужно «скормить» датасет с размеченными данными, который наглядно показывает отличия одного объекта от другого.

Разметка данных, кстати, целая наука — причем довольно трудоемкая. Обычно для этого нанимают фрилансеров, которые дистанционно маркируют видеоролики и изображения. Чем точнее разметка и чем больше данных, тем точнее будет работать система компьютерного зрения. При этом многое зависит от специфики — алгоритм, которые ориентируется в разных видах птиц, не поможет робомобилю распознать преграду на дороге. Хотя бывают интересные прецеденты. Например, в Японии алгоритм для распознавания выпечки стали использовать для диагностики рака.

Реконструкция работы системы распознавания объектов у автомобилей Tesla.

С каждым годом технология эволюционирует, но без глитчей пока не обходится: алгоритмы путают людей с животными, принимают абстрактные паттерны за реальные объекты, а иногда не могут отличить черепаху от ружья. Задача специалистов по компьютерному зрению — свести к минимуму такие инциденты и научить алгоритмы уверенно ориентироваться в окружающем мире. Например, на производстве система сможет выявить бракованное изделие, в клинике поможет врачу отличить злокачественную опухоль от доброкачественной, а астрофизикам позволит быстрее классифицировать небесные тела.

Технология сама по себе нейтральна, но применять ее можно по-разному — например, некоторые государства используют ее для деанонимизации протестующих. Поэтому специалистам по ИИ рекомендуют изучать этику в сфере машинного обучения. Один из таких курсов мы специально включили в эту подборку.

Где изучать компьютерное зрение?

Бесплатные уроки по теме «Компьютерное зрение» от Udemy

Восемь коротких уроков отлично подойдут для быстрого погружения в тему. Например, вы узнаете, как устроена навигация робомобилей, что такое метод Виолы — Джонса, как работают сверточные и генеративно-состязательные нейросети, а также познакомитесь с библиотекой OpenCV и поймете, как использовать ее для распознавания лиц.

Глубокое обучение и компьютерное зрение от А до Я: OpenCV, SSD и GAN от Udemy

На курсе вы освоите базовые инструменты компьютерного зрения и сможете не только создать приложение для распознавания лиц и объектов, но также генерировать изображения с помощью GAN — генеративно-состязательных нейросетей.

Компьютерное зрение с OpenCV и Python от Udemy

Вы узнаете, как глубокое обучение помогает компьютерам распознавать образы, а также создадите сервисы для распознавания и отслеживания объектов. Для обучения пригодится знание Python, но самых базовых навыков будет достаточно. Кстати, приобретать дорогое ПО не придется — в процессе обучения вы будете использовать бесплатные инструменты с открытым кодом.

Основы компьютерного зрения с Watson и OpenCV от edХ

На этом вводном курсе вы научитесь обрабатывать и классифицировать изображения, следуя гайдлайнам от сотрудников IBM, а также освоите базовые принципы работы с Python, Watson AI и OpenCV

Обработка изображений с помощью Python. Бесплатный курс от DataCamp

Отличное дополнение к курсу от edX — четыре модуля по обработке и маркировке изображений. Программа сфокусирована не столько на компьютерном зрении, сколько на обработке визуала (image processing). Например, вы научитесь улучшать качество медицинских снимков, увеличивать фотографии в несколько раз, удалять отдельные объекты и распознавать паттерны с помощью современных инструментов на базе машинного обучения.

Станьте экспертом по компьютерному зрению с Udacity

На занятиях вы научитесь работать с системами компьютерного зрения, которые уже применяются во многих отраслях — от производства до автотранспорта. Партнерами курса выступили Nvidia, Deep Learning Institute и компания Affectiva, которая создает ПО для распознавания эмоций по фото и видео. Плюс обучения на Udacity — это дополнительная помощь с трудоустройством после окончания курса. Вам помогут улучшить резюме и страницу на LinkedIn, а также организуют ревью кода на Github.

Специализация «Глубокое обучение» от Coursera

Фундаментальная программа, разработанная при участии известного эксперта по машинному обучению Эндрю Ына, включает пять курсов по глубокому обучению. Вы узнаете, какие технологии на самом деле скрываются за абстрактным понятием «искусственный интеллект», научитесь работать с разными типами нейросетей и сможете применять их для распознавания образов, синтеза речи и музыки.

Специализация Ethics in the Age of AI от Coursera

Разработчики часто закладывают в алгоритмы собственные предубеждения и когнитивные искажения. В результате ИИ дискриминирует отдельные группы людей, совершает ошибки и вводит в заблуждение пользователей. Курс объясняет, что скрывает за «черный ящик» искусственного интеллекта и как предрассудки становятся частью «прошивки», а главное, объясняет разработчикам, как этого избежать.

Computer vision что это

Computer vision — это совокупность технологий, методов и алгоритмов, с помощью которых компьютер может обрабатывать изображения и видео-поток, например, из видеокамер, сканеров, трехмерных данных и так далее. Использование компьютерного зрения позволяет определять, что изображено, классифицировать эти изображения и анализировать их. Такие методы применяются в разных областях: в медицине для постановки диагноза и детекции опухолей на снимках пациентов, для навигации в беспилотных машинах, для распознавания лица и наложения фильтров, как в Instagram и Snapchat и многих других.

Компьютерное зрение часто называют еще «машинным зрением», однако это не совсем правильно: компьютерное зрение — это общее название технологий и области знаний, тогда как машинное зрение представляет собой конкретную сферу применения. Область computer vision также тесно связана с машинным обучением, о котором вы можете прочитать в нашей заметке.

Разработчики компьютерного зрения чаще всего используют Python или С++, а также специализированные библиотеки: OpenCV, Scikit-learn, SciPy, NumPy, Matplotlib, Tensorflow, Caffe, Catboost и другие. При этом, особое значение для разработчика имеет знание математики и алгоритмов, а также безотрывное погружение в тему. Для успешной работы такому специалисту всегда нужно находиться на передовице технологий и быть в курсе современных алгоритмов и разработок.

Последнее время рынок вакансий в области машинного обучения, в частности компьютерного зрения в Москве невероятно горяч. Постоянно рождаются новые проекты, международные компании открывают новые офисы, развиваются соответствующие учебные программы в ведущих технических вузах — на ловца и зверь бежит. По моему опыту, большинство специалистов в области машинного обучения первое образование получали по другому профилю, а потом, заинтересовавшись, добирали необходимые знания. Благодаря ШАД, Coursera, Kaggle, OpenDataScience стало возможным (и даже нормой) получать необходимые навыки самому.

Как найти кандидата, если он, возможно, даже в профильном университете не учился? Да все там же — ШАД, Coursera, Kaggle, OpenDataScience. Или в тематических пабликах, форумах, Slack/Telegram. На мой взгляд, Slack ODS* наиболее полно отражает рынок вакансий в области Machine Learning . Но если вы рекрутер по профессии, ведите себя аккуратно, бан прилетит мгновенно. Лучше писать интересующим кандидатам сразу в личку, соблюдая вежливость и сразу подробно описывая условия.

Если вы нашли кандидата с ключевыми словами в резюме — Machine Learning / Deep Learning / Computer Vision — как теперь понять, что он справится с задачами? Первое — математический бэкграунд. В Machine Learning и компьютерном зрении он не сложен, но линейная алгебра, математический анализ необходимы. Если кандидат с Физтеха/Вышки/etc — это гарантировано, если вам попался самоучка — имейте под рукой пару несложных задач, которые можно решить без бумажки и ручки. От простых можно перейти к сложным понятиям из Deep Learning, но будьте готовы, что про что-то кандидат мог еще не слышать. Это абсолютно нормально, ведь методы становятся классическими за полгода.

Второе — кодинг. В Machine Learning среде, поскольку многие проникают в нее снаружи мира программирования, очень много кто плохо программирует (я сам не исключение). Очень хороший знак, если человек уже работал просто разработчиком и настораживает, если человек на выпуске из университета и увлечен математикой в чистом виде. Если человек не работал с git, не знает про юнит-тесты, а умеет только эксперименты в Jupyter запускать, лишь в редком случае он будет полезен бизнесу.

Важно понимать, что хотя кандидату важно и необходимо знать, как обучить нейросеть, заниматься этим он будет в лучшем случае 20% времени. Остальное — возня с данными, подъем и настройка инфраструктуры, и чем больше у кандидата опыт и выше скилл в базовом программировании и администрировании Linux, тем меньше времени он будет тратить на рутину и тем дальше продвинет ваш бизнес.

Федор Червинский, R&D lead LVL5

Вопросы для интервью:

1. С какими проектами приходилось работать?
2. Расскажите о самой сложной и интересной задаче? С помощью каких технических средств реализовывали её?
3. Как выглядит команда проекта? Как ставятся и распределяются задачи?
4. Участвовали в каких-либо соревнованиях на kaggle? Какие были успехи?
5. Есть ли какие-то pet-проекты? Что изучаете на досуге?

* ODS — OpenDataScience ods.ai

Computer vision

Компьютерное зрение (Computer vision) — это междисциплинарная научная область, целью которой является создание и изучение компьютерных систем, обладающих общим высокоуровневым представлением о цифровых изображениях или видео. С практической точки зрения компьютерное зрение стремится понять и автоматизировать задачи, которые может выполнять зрительная система человека.

В машинном обучении computer vision реализуется за счёт сверточных нейронных сетей (CNN) для решения задач сегментации, классификации, детектирования, обработки изображений и проч.

Как сверточные нейронные сети сделали революцию в области computer vision

В 1989 году Ян ЛеКун использовал метод обратного распространения ошибки в сверточной нейронной сети (CNN) [1]. Эта сеть состояла из нескольких слоев с искусственными нейронами. Каждый слой ответственен за свои локальные представления. С увеличением глубины слоев, локальные представления нейронной сети становятся более абстрактными и специфичными, что помогает изучить детали отдельного класса. Также сверточная нейронная сеть обладает свойством инвариантности, т.е. не запоминает местоположение объектов на изображении. Однако на тот момент времени из-за нехватки данных и компьютерных ресурсов CNN не показали высокой точности.

В 2012 году исследователи из Торонто разработали AlexNet, сверточную нейронную сеть, которая обогнала все другие модели компьютерного зрения в соревнованиях от ImageNet [2]. Победа AlexNet дала понять — пришло время вернуться к CNN. С учетом доступности данных и вычислительных ресурсов данное событие возродило интерес к CNN и вызвало революцию в глубоком обучении (Deep Learning). После этого появлялись ещё много разных моделей глубокого обучения: ResNet, Xception, Inception, EfficientNet и многие другие.

4 задачи распознавания образов

Большинство решаемых задач по распознаванию образов в компьютерном зрении сводится к следующим 4 задачам :

• Классификация. Нейронные сети можно обучить, например, идентифицировать собак или кошек с высокой степенью точности при наличии таких изображений.
• Локализация необходима для определения местоположения объектов. Обычно найденные объекты ограничиваются в прямоугольники.
• Детектирование, когда алгоритмы Machine Learning не только находят объект на изображении, но и проводят классификацию.
• Сегментация — это отнесение пикселей к определенной категории, например автомобилю, дороге или пешеходу. В отличие от детектирования, подсвечивается лишь те пиксели, которые принадлежат объекту.

Как правило, для решения вышеперечисленных задач используются модели машинного обучения с применением сверточных нейронных сетей. Точность этих моделей проверяется на конкурсе ImageNet, в котором предлагается вычислить 1000 классов [3]. Многие модели испытывают трудности с распознаванием мелких объектов, например, насекомых, а также трудности появляются с теми изображениями, которые искажены фильтрами.

Из задач распознавания образов вытекают ещё дополнительные задачи:

• Поиск изображений по контексту (Content-based image retrieval) — поиск всех изображений в большом наборе данных определенного контекста. Контекст может быть указан по-разному: по сходству относительно целевого изображения (найти все изображения, похожие на изображение X) или по критерию поиска, заданного в виде текста (найти все изображения, которые содержат много домов, на улице зима, машин нет).
• Определение положения (Pose estimation) — оценка положения или ориентации определенного объекта относительно камеры. Примером применения этого метода может быть робот-манипулятор, который извлекает объекты с конвейерной ленты на сборочной линии, подстраиваясь под них.
• Оптическое распознавание символов (OCR) — идентификация символов на изображениях печатного или рукописного текста, обычно с целью кодирования текста в формате, более удобном для редактирования или индексации (например, ASCII).
• Распознавание лиц.
• Технология распознавания форм (Shape Recognition Technology, SRT), которую можно наблюдать в приложениях, которые понимают, что рисует человек (т.н., это может быть иероглиф, прямоугольник, круг или животное).

Работа с видео и 3D

Ещё одним примером использования computer vision является анализ видеопотоков. Задача усложняется если все это происходит в реальном времени, поэтому тяжеловесные модели не подойдут. Так, на основе видеоданных могут решаться такие задачи как:

• Слежение — отслеживание движений меньшего набора точек или объектов (например, транспортных средств, людей или других организмов).
• Определение трехмерного движения камеры (Egomotion). Эта задача относится к оценке движения камеры относительно заданной сцены. Например, оценка движущегося положения автомобиля относительно линий на дороге или уличных знаков, наблюдаемых с самого автомобиля.

• CNN
• Сверточные нейронные сети в TensorFlow
• ТОП-4 моделей машинного обучения для компьютерного зрения

А также в нашем видеоролике узнаете о решении задачи обнаружения объектов на изображении с использованием Python-фреймворка TensorFlow:

1. http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf
2. https://en.wikipedia.org/wiki/AlexNet
3. http://image-net.org/about-overview

Что такое компьютерное зрение?

Машинное обучение и нейронные сети способны научить компьютер замечать дефекты и проблемы до того, как они повлияют на производство. Компьютерное зрение (Computer Vision) — это область искусственного интеллекта, которая изучает методы и алгоритмы для интерпретации и анализа изображений и видео. Цель: обучить компьютер «видеть» и понимать изображения, как это делает человек.

Первые работы в поисках метода обучения машин понимать визуальные данные начались еще в 1959 году. Тогда произошел эксперимент Губермана-Вайзкранца: исследователи показывали кошке набор изображений на экране и измеряли электрическую активность ее зрительной коры с помощью электродов на голове. Результаты эксперимента показали, что зрительная кора начинает обработку изображений с обнаружения простых форм, таких как линии и контуры. По такому же принципу работает сверхточная нейронная сеть (CNN). Она начинает с изучения основных черт изображения, таких как резкие края и формы. Затем использует эти знания, чтобы заполнить более детальную информацию об изображении в процессе многократного прогнозирования.

Сферы применения компьютерного зрения

1. Автоматическое распознавание номерных знаков на дорогах. Применяется, например, в системах управления платными парковками, в камерах превышения скорости для идентификации и фиксации номерных знаков нарушителей.
2. Распознавание лиц. Технология необходима в различных контекстах, например, для доступа к мобильному телефону, пропуска в здание ограниченного круга лиц, поиска преступников или пропавших людей.
3. Медицинская диагностика. Правильно обученный компьютер быстрее и точнее, чем человек, обнаружит патологии на снимках УЗИ и МРТ, предупредит об изменениях кожи, которые могут быть признаком заболеваний, определит признаки Альцгеймера по МРТ мозга.
4. Контроль качества. Например, компьютеру можно поручить проверку качества на производственной линии, выявление дефектов и отбраковку неисправных изделий. Это позволяет сократить затраты и повысить эффективность производства, а также снизить количество брака и улучшить качество продукции.
5. Автоматическая сортировка. Компьютерное зрение используется в промышленности для сортировки продуктов в зависимости от их характеристик и качества, что уменьшает число ошибок и повышает производительность.
6. Беспилотный транспорт. Прежде чем выпускать автомобиль без водителя на дороги, его нужно научить двигаться безопасно для пешеходов и других автомобилей. Для этого компьютер должен уметь распознавать объекты вокруг и знать, что делать в том или ином случае.
7. Улучшение жизни людей с ограниченными возможностями. Компьютерное зрение используется при создании специальных устройств: «умные камеры», «умные очки». Они используются для чтения, распознавания образов, навигации по городу и сбора информации из реального мира в реальном времени.

Какие реальные задачи можно решить с Computer Vision?

Реальные приложения демонстрируют, насколько важно компьютерное зрение для бизнеса, развлечений, транспорта, здравоохранения и повседневной жизни. Их появляется все больше из-за огромного потока визуальной информации, поступающей со смартфонов, дорожных камер, систем безопасности и других устройств. Эти данные могут стать основой для роста и развития бизнеса, если вы будете использовать их.

Например, для турнира по гольфу Masters 2018 года IBM использовала систему ИИ IBM Watson для создания My Moments. Watson просмотрел сотни часов видеозаписей и смог найти самые важные кадры. Он курировал эти ключевые моменты и передавал их фанатам в виде персонализированных роликов.

Мы все пользуемся компьютерным зрением в Google Translate: когда наводим камеру смартфона на текст на другом языке и тут же получаем перевод.

IBM и компания Verizon создали систему компьютерного зрения, которая использует искусственный интеллект и машинное обучение для автоматической проверки качества в процессе производства автомобилей. Подобные системы помогают предотвращать дефекты и несоответствия еще на линии, что уменьшает количество отказов на стадии эксплуатации автомобиля и улучшает его безопасность.

Одним из интересных примеров использования компьютерного зрения является система обнаружения поддельных фильмов. Этот инструмент автоматизирует процесс поиска поддельных видеофайлов путем анализа визуальных артефактов и изменений в изображениях. Такие системы помогают органам правопорядка, юридическим компаниям в борьбе с фальсификацией видео и предотвращении мошенничества.

Одна из них — Deep Video Portraits, разработанная учеными из Университета Бата в Канаде. Эта система использует глубокое обучение для создания живого видеопортрета на основе фотографий, в котором люди могут двигаться и разговаривать. Однако она также может использоваться для обнаружения поддельных видео. Другие варианты: TruePic и Amber Authenticate.

Как работает компьютерное зрение?

Приложения компьютерного зрения работают на алгоритмах, которые предварительно обучаются на огромных объемах визуальных данных. Они вычленяют логические связи, распознают шаблоны и используют их для обработки других изображений.

Этапы обработки изображений компьютерным зрением:

1. Сенсорное устройство, например, видеокамера или УЗИ-сканер, фиксирует изображение для анализа.
2. Изображение передается на интерпретирующее устройство. Оно распознает образы, сравнивает их с библиотекой в памяти и определяет, есть ли там информация, интересующая пользователя.

Например, чтобы научить компьютер распознавать автомобильные шины, он должен просмотреть и проанализировать огромное количество размеченных изображений шин и элементов, связанных с ними. Для этого в основном используются две технологии:

• машинное обучение;
• сверхточная нейронная сеть (CNN).

Машинное обучение использует алгоритмические модели, по которым компьютер учится понимать контекст визуальных данных. Если обучающей информации достаточно, машина сама проанализирует ее и научится отличать изображение кота от дерева.

CNN — частный случай машинного обучения, специально разработанный для анализа изображений. Всем объектам попиксельно присваиваются метки. CNN учитывает пространственное расположение пикселей в изображении и использует специальные сверхточные слои для извлечения признаков на разных уровнях, начиная с общих признаков, таких как линии и формы, до все более сложных, таких как контуры и текстуры. Рекуррентная нейронная сеть (RNN) используется аналогичным образом для видеоприложений, чтобы помочь компьютерам понять, как изображения в серии кадров связаны друг с другом.

Основные функции компьютерного зрения:

• классификация — например, способность компьютера отличать людей от других объектов на фотографии и подсчитывать, сколько их всего;
• идентификация — система не только определяет, что на фотографии человек, но и анализирует его внешний вид для вывода;
• отслеживание — видео анализируется, чтобы определить местоположение движущегося объекта и спрогнозировать его перемещение;
• оптическое распознавание символов — система находит и распознает текст на изображении, переводит его в удобный формат для редактирования и передачи в другие приложения.

Как применяется в сборе данных для машинного обучения?

Компьютерное зрение используется для создания датасетов, которые состоят из изображений, видео и других типов мультимедийных данных.

Один из примеров применения компьютерного зрения для сбора данных — создание датасета с изображениями людей. Для этого можно использовать камеру и алгоритмы компьютерного зрения для получения изображений и наложения на них аннотаций, отмечающих границы лица и мимики. Этот датасет затем может использоваться для обучения модели распознавания лиц.

Еще один пример — использование компьютерного зрения для создания датасета с изображениями продуктов в супермаркете. Автоматизированная система может фотографировать каждый продукт в магазине и использовать алгоритмы компьютерного зрения для создания меток, указывающих на название продукта и его цену. Далее на основании полученных данных обучается модель AI/ML, которая сможет распознавать продукты на полках магазина и отслеживать их количество и цену.

Другие примеры применения компьютерного зрения в сборе данных для машинного обучения:

• автоматическая разметка. Например, для подготовки датасета по распознаванию объектов. Компьютерное зрение анализирует изображения и видеопотоки, позволяет автоматически выделять и классифицировать объекты на изображении или видео, определять их параметры, такие как размер, форма и цвет;
• распознавание лиц. Facebook использует компьютерное зрение для автоматического распознавания лиц на фотографиях и тегирования пользователей;
• самообучающиеся системы. Google’s DeepMind обучился играть в видеоигры, используя только изображения, а не данные об игровом процессе;
• детектирование объектов на видео. Компьютерное зрение позволяет компьютеру просматривать видео и автоматически детектировать движущиеся объекты. Это может быть использовано, например, для создания базы данных видеофрагментов для моделей машинного обучения;
• типы движения объектов. Можно отслеживать и записывать движения на видео. Например, для датасета с видео фитнес-тренировок: чтобы модель научилась распознавать типы спортивных движений.

Какие инструменты используются?

Одна из популярных: Computer Vision Annotation Tool (CVAT). Это open source инструмент, он используется для разметки изображений и видео, предназначенных для обучения модели компьютерного зрения. Подходит для компаний, где требуется быстрая разметка большого объема данных.

Помимо CVAT, есть и другие инструменты:

• TensorFlow — библиотека, разработанная компанией Google, которая используется для создания глубоких нейронных сетей и моделей машинного обучения для компьютерного зрения;
• PyTorch — фреймворк машинного обучения для языка Python на базе Torch. Используется для обучения нейронных сетей и создания моделей;
• OpenCV — открытая библиотека для компьютерного зрения, которая содержит более 2500 алгоритмов для распознавания и анализа изображений и видео;
• Caffe — библиотека на основе фреймворка С++, используется для обучения глубоких нейронных сетей и сверхточных нейронных сетей;
• Microsoft Cognitive Toolkit (CNTK) — библиотека машинного обучения, разработанная Microsoft, используется для создания глубоких нейронных сетей для различных задач, включая компьютерное зрение.

У CVAT удобный пользовательский интерфейс, который позволяет аннотировать изображения и видео с помощью различных инструментов, таких как прямоугольники, многоугольники, маркеры, контуры, поля, текст и другие. Пользователь может добавлять к изображениям и видео метаданные: классы, атрибуты, теги и другие. CVAT также предоставляет механизм для проверки качества аннотаций с помощью экспертной оценки. После завершения разметки данные можно экспортировать в нужном формате, например, COCO, PASCAL VOC, YOLO.