Data scientist какие языки программирования нужно знать

Python vs. R: что выбрать для Data Science начинающему специалисту?

Python и R —два самых популярных языка для Data Science. Какой из них выбрать? Разбираемся в плюсах, минусах и инструментах обоих языков.

Python и R давно стали стандартом для Data Science. Суть их противостояния в том, что оба языка прекрасно подходят для работы со статистикой. В то время как Python характеризуется понятным синтаксисом и большим количеством библиотек, язык R разрабатывался целенаправленно для специалистов по статистике, а посему оснащён качественной визуализацией данных. Особняком стоит SQL — потому что, если данные уже лежат в таблицах, то это скорее везение, чем повод для расстройств, — и Scala — в основном благодаря тому, что на ней написан популярнейший фреймворк распределённой обработки данных Spark.

Чтобы провести первичный анализ данных и принять решение о дальнейшей судьбе фичи, достаточно средств одного только SQL и командной строки, ведь data science — это, в первую очередь, не про библиотеки с броскими названиями, а про подход. Тем не менее, такой минимализм имеет свой предел (а новичка вообще может отпугнуть), и в какой-то момент всё же придётся обратиться к более продвинутым инструментам исследования.

В этой статье мы вместе со SkillFactory разобрали для вас преимущества и недостатки R и Python в качестве первых языков в карьере data scientist’а. Разработчикам, желающим добавить строчку с полезным навыком в резюме, тоже будет интересно.

Python

Совершенно незаметно подкралось тридцатилетие Python. За свою уже немалую историю Python несколько раз перерождался, теряя обратную совместимость, но всегда оставался популярен как среди разработчиков в общем, так, в частности, и среди data scientist’ов. На это есть несколько причин.

Преимущества Python в Data Science

• Простой, но выразительный синтаксис. Знание английского языка на уровне первых классов школы — это уже победа, потому что азы Python можно считать освоенными. Дальше будет не сильно сложнее. Если же вы уже знакомы, например, с Java, то вы будете приятно удивлены тем, как легко сказать миру «привет».
• Богатый выбор библиотек. И речь не только о библиотеках алгоритмов машинного обучения — на Python разрабатывают облачные хранилища, стриминговые сервисы, и даже игры (хоть в них иногда и приходится обыгрывать тормоза как фичу, а не баг).
• Высокая культура документации. Сам Python прекрасно документирован, и обычно библиотеки на нём продолжают эту традицию.

При всём своём великолепии, Python не лишён и минусов. Его часто (и иногда заслуженно) называют медленным, ему всё ещё не хватает удобных средств ORM, а написание действительного крупного проекта на нём — довольно тяжёлый труд, требующий хорошей дисциплины. Но как и с любым другим инструментом, важно просто знать, как им пользоваться. Кстати об инструментах.

Python-инструменты для data scientist

Как уже упоминалось ранее, Python примечателен своим обширным набором библиотек и инструментов. Говоря о data science, нужно в первую очередь упомянуть следующие:

• Pandas — библиотека для манипулирования данными с огромными возможностями. Позволяет очень быстро провести исследование новых данных, протестировать гипотезы, получить отчёт. Одно из главных преимуществ Python.
• Scikit-learn — большая библиотека алгоритмов машинного обучения и обработки данных. Немалую часть соревнований на Kaggle выиграли пользуясь только ей в паре с Pandas.
• Keras и PyTorch — библиотеки, используемые для обучения глубоких нейронных сетей. Подходят для задач, связанных с изображениями, аудио и видео файлами.
• IPython Notebook — рассказывая о Python нельзя не упомянуть о нём. Стандартная среда разработки не совсем подходит data scientist’у в процессе исследования данных. Есть потребность в таком формате, который позволил бы, например, запустить затратный алгоритм, а когда он завершится — поиграть немного с результатами, исследовать их и построить графики. Здесь на помощь и приходит формат ноутбука. Это графический интерфейс, который открывается в обычном браузере и представляет из себя последовательность ячеек, где можно писать и исполнять код, используя при этом общую память для хранения данных.

Кстати, именно Python — основный язык курса «Профессия Data Scientist» от SkillFactory. При этом знать его не обязательно: вы освоите его в процессе обучения на примере реальных задач.

R

В 2020 году язык R остаётся одним из самых популярных для Data Science и статистики, стабильно завоёвывая всё большую долю просмотров в соответствующих разделах StackOverflow. При этом, со значительным перевесом лидируют вопросы академического характера: в первую очередь, R — это язык с богатым набором библиотек по машинному обучению и статистике, что особенно важно в исследовательских целях.

Преимущества R в Data Science

• Богатая ML экосистема, огромное количество библиотек статистических методов. Как уже было замечено ранее, R особенно популярен в академической среде, что и приводит к тому, что часто новые методы впервые имплементируются именно на нём.
• Достаточно удобная проприетарная среда разработки RStudio, с которой будет легко разобраться, если у вас был опыт в MATLAB.
• Необычный синтаксис, заточенный под нужды статистики. Опытный программист со знанием другого языка может испытать трудности акклиматизации, зато пользователи с математическим бэкграундом легко воспримут логику языка.
• Нативная поддержка векторных вычислений. Крутой бонус, который означает, что на R можно программировать достаточно быстрые реализации математических методов, использующих векторные и матричные вычисления.

R-инструменты для data scientist

Поговорим об упомянутых библиотечных богатствах R. Вот некоторые из базовых, но мощных библиотек, вооружившись которыми можно провести обширный рисерч или занять хорошие места в Kaggle:

• Dplyr — «грамматика манипуляций с данными», библиотека с функциональностью, аналогичной Pandas.
• Ggplot2 и Esquisse — мощные библиотеки для рисования графиков.
• Shiny — полезнейшая библиотека для создания веб приложений с интерактивной визуализаций исследований.
• Caret, randomForest, Mlr и т. д. — десятки библиотек с методами машинного обучения. Один из них точно сработает.

Python vs. R в Data Science: что лучше?

Оба языка обладают своими достоинствами и недостатками. Подойти может любой из них, всё зависит от ваших задач. Вот некоторые моменты, которые могут помочь с выбором:

1. Программировали ли вы уже на других языках? Если да, то, возможно вам потребуется некоторое время, чтобы привыкнуть к R. Python гораздо более привычен, за исключением некоторых нюансов.
2. Планируете ли вы работать в научной области, или склоняетесь к тому, чтобы быть ближе к практике? Python больше приближен к продакшену и чаще применяется в коммерческих проектах. В то же время, в академических кругах большей популярностью пользуется R.
3. Хотите ли вы прокачать кругозор в методах машинного обучения? Или вам достаточно будет ознакомиться с несколькими наиболее популярными методами и больше времени посвятить, например, алгоритмам обработки больших данных? В первом случае вам однозначно нужен R, во втором — больше возможностей вы найдёте в Python.
4. Хотите ли вы заниматься внедрением своих разработок, и программировать что-либо кроме предикторов? Если да, то Python вам подойдёт лучше, но скорее всего понадобится и что-то ещё (например Java, Scala или C++).

Если вы пока не знаете ни Python, ни R, но при этом хотите работать в IT, начать вам может помочь курс «Профессия Data Scientist» от SkillFactory. Там вы сможете за 2 года стать middle Data scientist с нуля. Курс ориентирован на практические задачи и его можно совмещать с работой или учёбой.

P.S. По промокоду Tproger2020 до 15.10 действует скидка 50%

9 языков программирования для работы с Big Data

Виктория Тюфякова Ментор на курсе по Data Science, автор вебинаров по Machine Learning.

Некоторые языки программирования были созданы для обработки больших массивов данных, и вокруг них сложилась целая экосистема из библиотек и фреймворков. Другие языки совсем новые, но работают гораздо быстрее. Вместе с дата-сайентистом и ментором SkillFactory Викторией Тюфяковой разбираемся, в каких случаях лучше использовать R, а в каких — MATLAB и почему Julia может потеснить Python.

Освойте профессию «Data Scientist»

Программирование нужно для всех этапов работы с большими данными, от выгрузки и очистки до проектирования баз данных и точной настройки алгоритмов машинного обучения. Вы можете выбрать любой язык из этого списка, но у каждого из них есть свои особенности и задачи, для которых он лучше подходит. Если это работа с базой данных клиентов для маркетинговой аналитики, подойдут более простые языки, а если серьезное научное исследование — то более сложные и точные.

Профессия / 24 месяца
Data Scientist

Дата-сайентисты решают поистине амбициозные задачи. Научитесь создавать искусственный интеллект, обучать нейронные сети, менять мир и при этом хорошо зарабатывать. Программа рассчитана на новичков и плавно введет вас в Data Science.

5 491 ₽/мес 9 983 ₽/мес

R — для любителей статистики

R был создан для работы со статистикой. Он позволяет собирать и очищать данные, работать с таблицами, проводить статистические тесты, различные виды анализа и составлять графические отчеты. R подойдет для специалистов, знакомых с теорией вероятности, статистическими методами и математическим анализом, поэтому на первый взгляд он может показаться сложным из-за интуитивно непонятного синтаксиса. На практике R используют:

• для научных исследований в разных сферах;
• машинного обучения и нейросетей;
• маркетинговых исследований.

Для R создано более 10 тыс. библиотек и расширений. Например, Ggplot2 — для визуализации данных, Bioconductor — для работы с генетической информацией, а Quanteda — для анализа текстов.

Кроме этого, R выделяют среди конкурентов высокая скорость обработки данных и открытый исходный код.

Читайте также Big Data: что это и где применяется?

Основная проблема при использовании R для больших наборов данных — ограничение в оперативной памяти, которая обеспечивает более быстрый доступ и манипулирование данными, чем при хранении данных на жестких дисках. Если вы готовы пожертвовать производительностью, то можно работать с большими наборами данных в R. Также есть пакеты R, которые помогают при работе с большими данными; я бы рекомендовала обратиться к представлению задач CRAN «Высокопроизводительные и параллельные вычисления с R».

Python — популярный и понятный

Самый популярный язык программирования в рейтинге TIOBE. В работе с Big Data Python зарекомендовал себя как один из лучших инструментов наравне с R:

• Дата-сайентисты используют язык для работы с машинным обучением и искусственным интеллектом.
• Аналитики при помощи библиотек и фреймворков обрабатывают большие массивы данных.
• Дата-инженеры с помощью него интегрируют сторонние решения для работы с данными.

Для работы с данными создано несколько специализированных Python-библиотек: NumPy — для вычислений, Pandas — для анализа табличных данных, Matplotlib — для визуализации. В отличие от R, Python кроме обработки и визуализации данных активно используется для разработки сайтов, приложений и других продуктов. Также считается, что это простой язык для новичков, так как у него понятный синтаксис (мы рассказывали, с чего начать учить Python, в этой статье).

Для анализа больших данных на Python можно использовать PySpark – это библиотека из проекта Apache Spark для анализа больших данных. PySpark предоставляет множество функций для анализа больших данных на Python. Она поставляется с собственной оболочкой, которую вы можете запустить из командной строки».

Java — самый универсальный

На Java пишут сайты, разрабатывают ПО и приложения. Это многофункциональный и кроссплатформенный язык, код на котором одинаково работает на мобильных устройствах, консолях или в системе умного дома.

Он позиционируется как язык №1 в мире, которым пользуется около 9 млн разработчиков. На Java написано множество Big Data инструментов с открытым кодом (например, большая часть экосистемы Hadoop), поэтому разработчики могут на их основе создавать собственные продукты для управления данными. Универсальность — основное преимущество Java в Big Data.

Java — это высокоэффективный скомпилированный язык, который широко используется для высокопроизводительного кодирования (ETL) и алгоритмов машинного обучения. Вот почему большие данные и Java — большие друзья».

Scala — самый недооцененный

Язык Scala не очень популярен у программистов, в рейтинге TIOBE он не входит даже в первую двадцатку. При этом в задачах по обработке данных он гораздо быстрее, чем более популярный Python. Scala способен быстро обрабатывать невероятно большие объемы информации, поэтому его используют Twitter, LinkedIn или Тинькофф.

На Scala написан фреймворк Apache Spark, важный для машинного обучения и анализа больших данных. Этот фреймворк входит в экосистему Hadoop и позволяет параллельно обрабатывать неструктурированные данные в реальном времени. Он легко взаимодействует с кодом на Java и библиотеками этого языка.

Scala работает на JVM и у него лучше структуры параллелизма, чем у Java, поскольку Scala обеспечивает лучшую поддержку парадигмы функционального программирования».

Станьте дата-сайентистом и решайте амбициозные задачи с помощью нейросетей

C++ — сложный, но быстрый

C++ — язык общего назначения; это значит, что с его помощью можно решить задачу из любой области программирования. Чаще всего на нем пишут операционные системы, крупные игры и такие пакеты программ, как MS Office или Adobe. В Big Data он тоже используется в основном для создания инструментов обработки данных, а не для непосредственной работы с ними. Например, MapReduce, который сейчас входит в экосистему Hadoop, изначально был написан как раз на C++.

C++ быстрее, чем многие конкуренты (Go, R или Python). Особенно это востребовано в машинном обучении , где нужно быстро обрабатывать терабайты данных. Это единственный язык, на котором данные размером более 1 Гб могут быть обработаны за секунду.

Но при этом он действительно сложный в изучении. В 2009 году компания Google создала простой и понятный язык Go, который справлялся бы с задачами C++, высокой нагрузкой и большими объемами данных. После этого в сообществе разработчиков стали возникать споры, что лучше: учить GoLang или C++:

Язык программирования Go создан компанией Google для работы с большими данными, поэтому сейчас он используется в большинстве продуктов компании:

• для работы с искусственным интеллектом;
• работы с базами данных;
• веб-разработки (особенно для backend).

MATLAB — для любителей научных методов

Это язык, который больше подходит для научной или производственной сферы и сложных математических вычислений. Университеты используют его в академических курсах по прикладной математике, физике и в инженерных разработках.

Считается, что рядовому разработчику не требуется этот язык. В основном его используют там, где нужны предельная точность и минимальные погрешности при работе с данными: в системах автопилота, медицине или космических исследованиях.

Julia — молодой и перспективный

Язык Julia задумывался как более простая и понятная альтернатива MATLAB. Он одним из самых молодых и современных языков, но уже вошел в топ-5 любимых языков программирования среди разработчиков по версии Stack Overflow.

По параметрам производительности Julia не уступает Python, R или MATLAB. Его используют для обработки запросов в backend, машинного обучения и даже для создания компьютерных симуляций. В будущем Julia может заменить популярный Python, но пока этот язык развивается, не имеет собственной экосистемы инструментов и большого набора библиотек, а разработчики используют для работы с ним Python-библиотеки.

*Hadoop — не язык, но активно используется

Это набор IТ-продуктов, который в основном написан на языке Java и адаптирует его к работе с Big Data. В него входят:

• Hadoop Common — набор библиотек для управления файлами;
• Hadoop Distributed File System — система хранения файлов на разных серверах;
• Yet Another Resource Negotiator — система планирования заданий и управления кластерами данных;
• Hadoop MapReduce — фреймворк для выполнения параллельных вычислений.

Так как Hadoop — это целая экосистема продуктов, его часто принимают за отдельный язык программирования. Его используют сайты и интернет-магазины с высокой пользовательской нагрузкой, такие как Google, AliExpress, Ebay. С помощью Hadoop они анализируют поисковые запросы и другую информацию о своих пользователях.

Data Scientist

Дата-сайентисты решают поистине амбициозные задачи. Научитесь создавать искусственный интеллект, обучать нейронные сети, менять мир и при этом хорошо зарабатывать. Программа рассчитана на новичков и плавно введет вас в Data Science.

Какой язык программирования выбрать для работы с данными?

У начинающего специалиста по данным (data scientist) есть возможность выбрать один из множества языков программирования, который поможет ему быстрее освоить данную науку.

Тем не менее, никто точно не скажет вам, какой язык программирования лучше всего подходит для этой цели. Ваш успех как специалиста в данной области будет зависить от множества факторов и сегодня мы постараемся их рассмотреть, а в конце статьи вы сможете проголосовать за тот язык программирования, который вы считаете наиболее подходящим для работы с данными.

Специфичность

Будьте готовы к тому, что по мере углубления в область науки о данных, вам раз за разом прийдется заново «изобретать велосипед». Кроме того, вам необходимо будет в совершенстве овладеть различными пакетами программ и модулями для выбранного вами языка программирования. Насколько хорошо вы сможете все это усвоить, зависит, в первую очередь, от наличия предметно-ориентированных пакетов программ для выбранного ЯП.

Универсальность

Ведущий специалист по данным обладает хорошими всесторонними навыками программирования, а также умением проводить расчеты и анализировать. Большая часть повседневной работы в области науки о данных направлена на поиск и обработку исходных данных или корректировку данных. К сожалению, никакие новороченные пакеты для машинного обучения вам не помогут для данных целей.

Эффективность

В быстро развивающемся мире коммерческой науки о данных есть множество возможностей быстро получить желаемую работу. Тем не менее, именно благодаря быстрому развитию области науки о данных ее постоянно сопровождают технические недароботки, и только упорная практика сможет свести к минимуму такие недочеты.

Производительность

В некоторых случаях очень важно оптимизировать производительность вашего кода, тем более при работе с большими объемами особо важных данных. Однако скомпилированные языки обычно намного быстрее, чем интерпретируемые. Аналогично, статически типизированные языки значительно более отказоустойчивы, чем динамически типизированные. Таким образом, единственным компромиссом является снижение производительности.

В некоторой степени, каждый из представленных ниже языков программирования обладает одним параметром в каждой из двух групп: универсальность — специфичность; производительность — удобство.

Учитывая эти основные принципы, давайте рассмотрим некоторые из наиболее популярных языков программирования, которые используются в науке о данных. Вся информация, о приведенных ниже языках программирования, основывается на моих собственных наблюдениях и опыте, а также опыте моих друзей и коллег.

R, который является прямым потомком старшего языка программирования S, был выпущен в далеком 1995 году и с тех пор становится все совершеннее. Написанный на таких языках как C и Fortran данный проект сегодня поддерживается Фондом языка R для статистических вычислений (R Foundation for Statistical Computing).

Преимущества:

• Отличный набор высококачественных предметно-ориентированных пакетов с открытым исходным кодом. R имеет в своем распоряжении пакеты практически для любого количественного и статистического применения, которое можно только себе представить. Сюда входят нейронные сети, нелинейная регрессия, филогенетика, построение сложных диаграмм, графиков и многое-многое другое.
• Вместе с базовой установкой в довесок нам предоставляется возможность установки обширных встроенных функций и методов. Кроме того, R прекрасно обрабатывает данные матричной алгебры.
• Возможность визуализации данных является немаловажным преимуществом наряду с возможностью использования различных библиотек, например ggplot2.

• Низкая производительность. Здесь нечего сказать: R не является быстрым ЯП.
• Специфичность. R прекрасно подходит для статистических исследований и науки о данных, но он не так хорош, когда дело доходит до программирования для общих целей.
• Другие особенности. R имеет несколько необычных особенностей, которые могут сбить с толку программистов, привыкших работать с другими ЯП: индексирование начинается с 1, использование нескольких операторов присваивания, нетрадиционные структуры данных.

R – мощный язык, который отличается наличием огромного выбора приложений для сбора статистических данных и визуализации данных, а тот факт, что он является ЯП с открытым исходным кодом, позволяет ему собрать большое количество поклонников среди разработчиков. Именно благодаря своей эффективности для первоначальных целей этому языку программирования удалось достичь широкой популярности.

Python

В 1991 году Гвидо ван Россум представил язык программирования Python. С тех пор этот язык стал чрезвычайно популярным ЯП общего назначения и широко используется в сообществе специалистов по данным. В настоящее время основными версиями являются Python 3,6 и Python 2,7.

Преимущества:

• Python – это очень популярный, широко используемый язык программирования общего назначения. Он имеет обширный набор специально разработанных модулей и широко используется разработчиками. Многие онлайн-сервисы предоставляют API для Python.
• Python очень прост в изучении. Низкий порог вхождения делает его идеальным первым языком для тех, кто занимается программированием.
• Такие программные пакеты как pandas, scikit-learn и Tensorflow, делают Python надежным вариантом для современных приложений в области машинного обучения.

• Типобезопасность. Python – это динамически типизированный язык, а это значит, что вы должны быть осторожными при работе с ним. Ошибки несоответствия типов (например, передача строки (string) в качестве аргумента методу, который ожидает целое число (integer)) могут время от времени случаться.
• Например, в случае если имеются конкретные цели статистического анализа и анализа данных, то обширный набор пакетов языка R дает ему преимущество перед Python. Кроме того, существуют более быстрые и безопасные альтернативы Python среди языков программирования.

Python является хорошим вариантом для целей науки о данных (data science), и это утверждение справедливо как для начального, так и для продвинутого уровней работы в данной области. Большая часть науки о данных сосредоточена вокруг процесса ETL (извлечение-преобразование-загрузка). Эта особенность делает Python идеально подходящим для таких целей языком программирования. Библиотеки, такие как Tensorflow от Google, делают Python очень интересным языком для работы в области машинного обучения.

SQL

SQL («язык структурированных запросов») определяет, управляет и запрашивает реляционные базы данных. Язык появился в 1974 году и с тех пор претерпел множество видоизменений, но основные его принципы остаются неизменными.

Есть бесплатные и платные варианты.

Преимущества

• Очень эффективен при работе с запросами, обновлениями, а также при обработке реляционных баз данных.
• Декларативный синтаксис делает SQL очень читаемым языком. Нет никакой неопределенности в том, что SELECT name FROM users WHERE age > 18 должен делать!
• SQL очень часто используется в различных приложениях, так что знакомство с ним может очень пригодиться. Модули, такие как SQLAlchemy, упрощают интеграцию SQL с другими языками.

• Синтаксис SQL может показаться достаточно сложной задачей для тех, кто привык к императивному программированию.
• Существует множество различных вариаций SQL, таких как PostgreSQL, SQLite, MariaDB. Все они достаточно разные, поэтому ни о какой совместимости не может быть и речи.

SQL более полезен в качестве языка для обработки данных, чем в качестве передового аналитического инструмента. Тем не менее, так много процессов в области науки о данных зависит от ETL, а долговечность и эффективность SQL лишний раз свидетельствуют о том, что такой ЯП должен знать каждый специалист по данным (data scientist).

Java

Java – это чрезвычайно популярный язык общего назначения, который работает на виртуальной машине Java Virtual Machine (JVM). Это абстрактная вычислительная система, которая обеспечивает плавную переносимость между платформами. В настоящее время поддерживается корпорацией Oracle.

8-я версия – бесплатная

Преимущества:

• Универсальность. Многие современные системы и приложения разработаны с помощью языка Java. Огромным преимуществом такого ЯП является способность интегрировать методы науки о данных непосредственно в существующую кодовую базу.
• Строгая типизация. Обеспечение типобезопасности не пустой звук для Java, и в случае разработки критически важных приложений для работы с большими данными эта особенность как никогда важна.
• Java – это высокопроизводительный, скомпилированный язык общего назначения. Это делает его пригодным для написания эффективного производственного кода ETL, а также алгоритмов машинного обучения с использованием вычислительных средств.

• «Многословность» языка Java делает его не лучшим вариантом для проведения специальных анализов и разработки более специализированных статистических приложений.
• Java не имеет большого количества библиотек для передовых статистических методов по сравнению с некоторыми предметно-ориентированными языками, например R.

Много чего можно сказать в пользу изучения Java как языка для работы в области науки о данных. Многие компании оценят возможность беспрепятственной интеграции готового кода программного продукта в собственную кодовую базу, а производительность и типобезопасность Java являются его неоспоримыми преимуществами. Тем не менее, к недостаткам такого языка можно отнести тот факт, что у него отсутствуют наборы специфических пакетов, которые доступны для других языков. Несмотря на такой недостаток, Java является языком программирования, которому обязательно стоит уделить внимание, особенно если вы уже знаете R или Python.

Scala

Функционирующий на JVM язык программирования Scala был разработан Мартином Одерски в 2004 году. Это язык с несколькими парадигмами, позволяющий использовать как объектно-ориентированные, так и функциональные подходы. Кроме того, структура кластерных вычислений Apache Spark написана на Scala.

Преимущества:

• Используя Scala и Spark, у вас появляется возможность работать с высокопроизводительными кластерными вычислениями. Scala – это идеальный выбор для тех, кто работает с большими объемами данных.
• Мультипарадигматический. Для программистов, работающих со Scala, доступны как объектно-ориентированные, так и функциональные парадигмы программирования.
• Scala компилируется в байт-код Java и работает на JVM. Это позволяет ему взаимодействовать с языком Java, делая Scala очень мощным языком общего назначения. Кроме того, он также хорошо подходит для работы в области науки о данных.

• Если вы только-только собрались работать со Scala, то будьте готовы изрядно «поломать» голову. Лучше всего загрузить sbt и настроить IDE, например Eclipse или IntelliJ, с помощью специального плагина Scala.
• Есть мнение, что синтаксис и система типов Scala являются достаточно сложными. Таким образом, программистам, привыкшим работать с динамическими языками, например Python, придется несладко.

Julia

Выпущенный чуть более 5 лет назад, Julia произвела впечатление на мир вычислительных методов. Язык добился такой популярности благодаря тому, что несколько крупных организаций, включая некоторые в финансовой отрасли, почти сразу начали использовать его для своих целей.

Преимущества:

• Julia – это скомпилированный язык JIT («точно в срок»), благодаря которому удается достичь хорошей производительности. Этот язык является достаточно простым, он предусматривает возможности динамической типизации и сценариев интерпретируемого языка, такого как Python.
• Julia был предназначен для проведения численного анализа, он также может рассматриваться в качестве языка программирования общего назначения.
• Читаемость. Многие программисты, работающие с данным языком, считают, что такая особенность является его наибольшим преимуществом.

• Незрелость. Поскольку Julia является достаточно новым языком, некоторые разработчики сталкиваются с нестабильностью во время работы с его пакетами. Тем не менее, базовые средства языка считаются стабильными.
• Еще одним признаком незрелости языка является ограниченное количество пакетов программ, а также небольшое число поклонников среди разработчиков. В отличие от устоявшихся R и Python язык программирования Julia не располагает большим количеством пакетов программ (пока что).

Да, главная проблема языка Julia – это его молодость, однако его нельзя за это винить. Поскольку Julia был создан лишь недавно, он пока что не может конкурировать со своими основными конкурентами, Python и R. Будьте терпеливыми и вы поймете, что существует множество причин обратить пристальное внимание на этот язык, который, непременно, сделает выдающиеся шаги в ближайшем будущем.

MATLAB

MATLAB – это признанный язык для численных расчетов, используемый как в научных целях, так и в индустрии. Он был разработан и лицензирован MathWorks, компанией, созданной в 1984 году, основной целью которой являлось коммерциализация программного обеспечения.

Цены варьируются в зависимости от выбранного вами варианта языка

Преимущества:

• MATLAB, предназначенный для численных вычислений, хорошо подходит для использования количественного анализа со сложными математическими требованиями, такими как обработка сигналов, преобразования Фурье, матричная алгебра и обработка изображений.
• Визуализация данных. MATLAB имеет ряд встроенных возможностей построения графиков и диаграмм.
• MATLAB часто можно встретить во многих курсах бакалавриата по точным наукам, таким как физика, инженерия и прикладная математика. Таким образом, он широко используется в этих областях.

• Платная лицензия. Вне зависимости от выбранного вами варианта (для научных, личных целей или целей компании) вам придется раскошелиться на дорогостоящую лицензию. Наш совет: обратите внимание на бесплатную альтернативу – Octave.
• MATLAB – это не лучший язык программирования для общего назначения.

Благодаря своему широкому использованию в различных количественных вычислениях как для научных целей, так и для целей индустрии, MATLAB стал достойным вариантом для применения в области науки о данных. Он прийдется вам как нельзя кстати, если для ваших ежедневных целей необходима интенсивная, продвинутая математическая функциональность, собственно, для чего MATLAB и был разработан.

Другие языки

Существуют и другие популярные ЯП, которые могут представлять интерес для специалистов по данным. В этом разделе представлен их краткий обзор.

C++

Зачастую, C++ не используется в области науки о данных. Тем не менее, он имеет молниеносную производительность и широкую популярность. Главной причиной, по которой C++ не обрел популярности в области науки о данных, является его неэффективность для такой цели.

Как написал один из участников форума:
«Предположим, что вы пишете код для проведения какого-либо специального анализа, который, вероятно, будет запускаться только один раз. Так вот, вы предпочли бы потратить 30 минут на создание программы, которая будет работать в течение 10 секунд или потратить 10 минут на программу, которая будет работать в течение 1 минуты?»

И этот парень прав! Тем не менее, C++ станет отличным выбором для реализации алгоритмов машинного обучения, оптимизированных на низком уровне.

Наш вердикт – не лучший выбор для повседневной работы, но если дело касается производительности.

JavaScript

Ввиду того, что за последние несколько лет платформа Node.js активно развивалась, язык программирования JavaScript все больше и больше обретал черты серверного языка. Однако его возможности в области науки о данных и машинного обучения на сегодняшний день достаточно скромны (тем не менее, не стоит забывать про brain.js и synaptic.js!). К недостаткам JavaScript можно отнести:

• Слишком рано для него, чтобы вступить в игру (Node.js всего 8 лет!).
• Платформа Node.js и вправду быстрая, но всегда найдутся те, кто будет активно критиковать JavaScript.

Наш вердикт – предстоит еще много чего сделать, для того чтобы JavaScript считался достойным языком для работы в области науки о данных

Perl

Perl известен как «швейцарский армейский нож языков программирования» из-за его универсальности как языка сценариев общего назначения. Он имеет много общего с Python, являясь динамически типизированным языком сценариев. Но ему еще очень далеко до той популярности, которую имеет Python в области науки о данных.

Это немного удивительно, учитывая его применение в областях, в которых используются методы количественного анализа, например в биоинформатике. Что касается науки о данных, то у Perl есть несколько недостатков: у него не получится быстро стать популярным в данной области, а его синтаксис считается недружелюбным. Кроме того, со стороны его разработчиков не наблюдается никаких попыток создания библиотек, которые могли бы быть использованы в области науки о данных. А как мы с вами знаем: зачастую все решают правильные действия в подходящий момент.

Наш вердикт – полезный язык сценариев общего назначения, но с его помощью вам уж точно не устроится на работу специалиста по данным.

Ruby

Ruby – это еще один динамически типизированный интерпретируемый язык общего назначения. Тем не менее, похоже, что у его создателей нет никакого желания сделать его пригодным для работы в области науки о данных, как в случае с Python.

Это может показаться странным, но все вышеуказанное так или иначе связано с доминирующим положением Python в области научных исследований, а также с положительными отзывами людей, пишущих на этом языке. Чем больше людей выбирают Python, тем больше разрабатывается для него модулей и фреймворков, и тем больше программистов отдают свое предпочтение Python. Проект SciRuby был создан для того, чтобы внедрить в Ruby функциональность научных вычислений, например, матричной алгебры. Но, несмотря на все эти потуги, Python на данный момент по-прежнему лидирует.

Наш вердикт – не совсем правильный выбор для науки о данных, но в вашем резюме знание Ruby не помешает

Заключение

Ну вот мы с вами и рассмотрели короткое руководство по языкам программирования, которые ближе всего подступили к области науки о данных. Важным моментом здесь является понимание того, что вам больше нужно: специфичность или универсальность языка, его удобство или эффективность.

Я регулярно использую R, Python и SQL, так как моя текущая работа в основном сосредоточена на разработке существующих конвейеров данных и ETL-процессов. Эти языки совмещают правильный баланс общности и эффективности для выполнения этой работы с возможностью использования более совершенных статистических пакетов R, когда это необходимо.

Однако, возможно, вы уже неплохо набили руку в Java, или вам не терпится испробовать в действии Scala для работы с большими данными, или, может быть, вы без ума от проекта Julia.

А может вы зубрили MATLAB на парах в институте или не прочь дать SciRuby шанс показать себя? Да у вас могут быть сотни разных причин! Если так, то оставьте свой комментарий внизу – ведь для нас действительно важно знать мнение каждого из вас!

ТОП-10 языков программирования для Data Science в 2020 г

Языки программирования — это суперсила любого разработчика! Но время от времени происходит обновление существующих и появление новых, что приводит к путанице при выборе подходящего языка для реализации проекта.

Каждый из языков обладает своими особенностями, и тот, который с успехом работает в одном проекте, может совершенно не подходить для другого.

На сегодняшний день Data Science – одна из тех областей, в которой запрос на получение высокопроизводительных результатов растет быстрыми темпами.

Прежде, чем перейти к рассмотрению популярных языков программирования, ответьте на несколько вопросов:

• В чем точно заключается Ваша задача?
• Как Data Science может Вам помочь в этом?
• Насколько Вы компетентны в языках программирования, которыми уже владеете?
• Готовы ли Вы к продолжать обучение и углублять знания?
• В каком масштабе Ваша организация использует Data Science?

Итак, если Вы ответили на вопросы выше, тогда двигаемся дальше. Поговорим о наиболее часто используемых языках программирования для Data Science: с некоторыми Вы уже знакомы, однако другие могут оказаться совершенно новыми для Вас.

1. Python

Python занимает значимое место среди важнейших инструментов для Data Science и зачастую является лучшим выбором для решения задач в таких областях как машинное обучение (Machine Learning), глубокое обучение (Deep Learning), искусственный интеллект (Artificial Intelligence) и так далее. Он объектно-ориентированный, прост в использовании и удобен для разработчиков благодаря высокой читаемости кода.

Наличие богатых библиотек и возможность использования в различных ситуациях делает Python по-настоящему многофункциональным инструментом.

Особенности Python:

• Поддержка таких библиотек Data Science как Keras, Scikit-Learn, matplotlib, TensorFlow и т.д.
• Идеально подходит для сбора данных, анализа, моделирования и визуализации
• Поддержка большого количества параметров для экспорта и обмена файлами.
• Наличие сообщества для получения консультаций.

2. JavaScript

Мультипарадигмальный и событийно-ориентированный язык JavaScript — один из лучших языков для веб-программирования. С его помощью разработчики могут создавать насыщенные и интерактивные веб-страницы, что делает JavaScript прекрасным выбором при создании красивой визуализации.

Для Data Science используют другие варианты JavaScript, включая управление асинхронными задачами и обработку данных в реальном времени.

Особенности JavaScript:

• Возможность создания визуализации для анализа данных.
• Поддержка различных современных библиотек машинного обучения (Machine Learning): TensorFlow.js, Keras.js, и ConvNetJs
• Простота в изучении и использовании

3. Java

Язык программирования Java только выглядит устаревшим. Он давно используется некоторыми ведущими компаниями с целью безопасной разработки корпоративных приложений как наиболее предпочтительный вариант стека. Для снижения ажиотажа в сфере Data Science, Java предложила такие инструменты как Hadoop, Spark, Hive, Scala, и Fink.

Виртуальные машины Java – довольно частый выбор разработчиков для написания кода для распределенных систем, анализа данных и машинного обучения в корпоративной среде.

Особенности Java:

• Несколько IDE для быстрой разработки приложения.
• Применение для задач, связанных с анализом данных, глубоким обучением (Deep Learning), обработкой естественного языка (Natural Language Processing), поиском данных (data mining).
• Обеспечение простого масштабирования при построении сложных приложений с нуля.
• Возможность быстрого получения результатов.

4. R

R- это программная среда с открытым исходным кодом, предназначенная прежде всего для обработки статистической и графической сторон в Data Science. Анализ на основе временных рядов, создание кластеров, статистические тесты, линейное и нелинейное моделирование – это только некоторые варианты статистического вычисления и анализа, предоставляемые языком R. Он обеспечивает прекрасную расширяемость, позволяя другим программным языкам изменять объекты данных без особых трудностей благодаря своей сильной объектно-ориентированной природе.

Особенности R:

• Обеспечение эффективной обработки данных и дополнительных инструментов для анализа данных.
• Предоставление огромного количество опций для создания информативных графиков в процессе анализа данных.
• Возможность расширения основных функциональных возможностей с помощью надежных пакетов.
• Поддержка сообщества исполнителей.

5. C/C++

С — один из ранних языков программирования и большинство современных языков используют (например, язык программирования R) С/С++ как базу исходного кода. Работа с С/С++ требует глубокого понимания основных принципов программирования.

Несмотря на то, что это один из самых сложных языков программирования для начинающих в сфере Data Science из-за своей низкоуровневой природы, его все чаще используют для создания инструментов, которые могут быть использованы для обработки данных.

Особенности С/С++:

• Возможность получения более быстрых и лучше оптимизированных результатов, когда базовые алгоритмы также написаны на языке С.
• Он быстрее в сравнении с другими языками программирования благодаря своей эффективной природе.

6. SQL

SQL не просто предоставляет доступ к Вашей базе данных, но и дает возможность получения фактов и статистики из огромного массива данных, используя лишь несколько запросов.

Особенности SQL:

• Возможность сосредоточиться на «ЧТО» вместо «ПОЧЕМУ» благодаря непроцедурной природе языка SQL.
• Хорошая интегрируемость с программными языками и системами управления базами данных.
• Более плавное управление огромными объемами данных.

7. MATLAB

MATLAB-это в первую очередь математическая вычислительная среда, предназначенная для выполнения сложных вычислений; обладает различными инструментами, с помощью которых возможно выполнение таких действий, как манипулирование матрицами, построение графиков данных и функций и многое другое. Использование MATLAB позволяет с легкостью решить запутанные математические и статистические задачи.

Особенности MATLAB:

• Позволяет выполнять алгоритмы и создавать пользовательский интерфейс.
• Содержит внушительный набор математических функций.
• Предлагает встроенные графические процедуры для создания и визуализации графиков данных.
• Обеспечивает плавную масштабируемость

8. Scala

Scala — это высокоуровневый язык программирования, который запускается в виртуальной машине JAVA. Вместе со Spark эффективен для обработки большого количества разрозненных данных. Базовая поддержка параллельных процессов делает Scala идеальным выбором для создания высокопроизводительных фреймворков Data Science таких как Hadoop.

Особенности Scala:

• Стабильность, универсальность и сравнительно быстрое предоставление результатов.
• Наличие более чем 175000 библиотек, расширяющих его функциональность.
• Поддержка на различных IDE таких как IntelliJ IDEA, VS Code, Vim, Atom, Sublime Text и даже в вашем браузере.
• Сильная поддержка сообщества.

9. Julia

Julia — это универсальный язык программирования с динамической типизацией, подходящий для численного и машинного научного анализа. И хотя Julia является высокоуровневым языком, при необходимости может быть использован как низкоуровневый.

Его использовали некоторые компании для решения нестандартных задач, среди которых: анализ на основе временных рядов, анализ степени риска и даже планирование космической программы.

Особенности Julia:

• Возможность сосредоточиться на обеспечении высокой производительности
• Встроенная поддержка диспетчера пакетов.
• Предлагает визуализацию данных, действия с многомерными наборами данных и надежные инструменты для глубокого обучения (Deep Learning).
• Поддержка параллельных и распределенных вычислений.

10. SAS

SAS (Statistical Analytical System) — программная среда промышленного уровня, специально созданная для бизнес-аналитики, упреждающего и углубленного анализов.

SAS дает возможность пользователям извлекать, изменять и управлять данными из различных источников с целью углубленного статистического анализа.

Программная среда разбита на наборы инструментов, которые предоставляют упомянутую выше функциональность. Одни охватывают презентации, другие — управление данными, третьи — контроль качества и еще несколько функций, таких как редактор кода и менеджер проектов, менеджер grid-вычислений и так далее.

Дополнительные языки программирования для Data Science :

Каждый язык обладает своими особенностями и преимуществами, часто обеспечивающие получение более быстрых и лучших результатов по сравнению с другими. Область Data Science чрезвычайно широка и зачастую требует различных наборов инструментов для разных задач. Знание более, чем одного программного языка поможет преодолеть специфические трудности в работе с данными. Если же Вы только начинаете свой путь в области обработки данных, советуем начать с изучения языков программирования, рассмотренных в этой статье — они наиболее востребованы в настоящее время.