Dwh архитектор кто это

Что такое хранилище данных Data Warehouse и зачем оно бизнесу

Рассказываем, что такое Data Warehouse, какие у этой технологии особенности и зачем ее используют компании.

В статье рассказываем, что такое Data Warehouse, какие у этой технологии особенности и зачем ее используют компании.

Что такое Data Warehouse

Обычно данные в организациях хранятся «разрозненно». В бухгалтерии одна система хранения, в логистике и прочих отделах — другая. Желательно, чтобы эти системы хранения не пересекались — и в этом есть логика. Так, например, информация о финансовых поступлениях и налоговых отчислениях не будет доступна никому, кроме сотрудников отдела бухгалтерии.

Но эта «разрозненность» вызывает много вопросов. Например, как подготовить аналитику состояния компании за год? Как объединить данные из разных источников и информационных систем в одном месте? Ведь база данных (БД) склада хранит только информацию о складских запасах, а база отдела кадров — данные о сотрудниках. Как их очистить, структурировать и анализировать? На помощь приходит Data Warehouse.

Data Warehouse (DWH) — это хранилище, в которое из разных систем хранения собираются исторические данные компании. Это некая библиотека, в которой упорядочена и каталогизирован весь объем информации. Она может быть в основе, например, платформы обработки данных.

Признаки и особенности DWH:

• Аналитику не нужно запрашивать доступы к базам данных разных отделов. Все хранится в одном месте, при этом в DWH могут храниться агрегированные данные за десятки лет.

• Данные в хранилище добавляются, удаляются, очищаются, выгружаются. К этому хранилищу выполняются запросы, также с ним производятся другие манипуляции.

• При использовании систем бизнес-аналитики (BI) совместно с DWH у пользователей появляется возможность искать закономерности и взаимосвязи в данных, аналитически обрабатывать и визуализировать информацию. Аналитик изучает данные из хранилища, формирует отчет, подкрепляя статистической информацией, визуализирует.

Корпоративное хранилище данных, КХД

DWH называют хранилищем данных или корпоративным хранилищем данных (КХД). Это хранилище структурированных данных, с одной широкой или большим количеством отдельных таблиц.

DWH не только хранят данные, но и выполняют вычисления, так как аналитические — например, OLAP — запросы зачастую требуют много ресурсов. Например, представим гигантский ангар, заставленный полками вдоль и поперек, а полки — вещами в коробках, пакетах, пленке. Здание поделено на секции для канцтоваров, ГСМ, средств гигиены и прочего.

Если просто использовать ангар как склад — это будет простое хранилище. Но если добавить на все коробки штрих-коды, а на входе и выходе — лазерные сканеры для их считывания, то условный завхоз сможет отслеживать насколько заполнены стеллажи. Это полезно, если ему нужно прогнозировать, например, расход материалов — чтобы они не простаивали и не перегружали стеллажи. Такой прокачанный ангар — это хранилище данных, DWH.

Трехуровневая архитектура хранилища данных

В традиционном виде часто архитектура хранилища данных состоит из трех уровней.

• Нижний уровень — база данных (или даже несколько), которые объединяют в себе данные из различных источников информации — например, из транзакционных СУБД или SaaS-сервисов.

• Средний уровень — сервисы и приложения, которые преобразуют данные в специальную структуру для анализа и сложных запросов (уровень моделирования, либо семантической слой). Это может быть сервер OLAP, например, который работает в качестве расширенной системы управления реляционными базами данных. И отображает операции над многомерными данными в стандартных реляционных операциях.

• Верхний уровень — инструменты для создания отчетов, визуализации и последующего анализа данных. Его также называют уровнем клиента.

Концептуально все понятно — рассмотрим DWH подробней, через призму LSA.

Облачное объектное хранилище Selectel

Храните данные для работы сервисов, аналитики и обучения ML-моделей. Обеспечим моментальное масштабирование и репликацию.

Полная архитектура хранилища данных

Одна из моделей проектирования Data Warehouse — «слоеный пирог», построенный по архитектуре LSA, Layered Scalable Architecture. Она реализует логическое деление структур с данными на несколько функциональных уровней:

1. Стейджинг (Primary Data Layer) — уровень, на котором подгружаются данные из внешних источников. Например, из таблиц, ERP-системы или биллинговой системы.

1. Ядро хранилища (Core Data Layer) — центральный уровень, который подгоняет данные к единым структурам и ключам. На этом слое обеспечивается целостность и качество данных.

1. Аналитические витрины (Data Mart Layer) — слой, который преобразует данные к структурам, удобным для анализа и использования в BI-дашбордах и других аналитических системах.

1. Сервисный слой (Service Layer) — уровень, на котором обеспечивается управление предыдущими слоями, мониторинг и диагностика ошибок.

Визуально LSA-архитектуру Data Warehouse можно представить так:

Проектирование хранилища данных: модели Кимбалла и Инмона

Существует две модели, описывающие то, как должны быть устроены хранилища данных. Их идейные вдохновители — Билл Инмон, «отец хранилищ данных», и Ральф Кимбалл, идейный лидер в области хранилищ многомерных данных.

Хранение данных по модели Инмона

По модели Инмона (Inmon) данные из источников должны поступать в хранилище после процесса ETL (Extract, Transformation, Load).

Хранение данных по модели Кимбалла

По модели Кимбалла (Kimball) после процесса ETL данные загружаются в витрины данных, а объединение витрин создает концептуальное (а не фактическое) хранилище данных.

От выбора двух подходов будет зависеть исходный результат. Представим хранилище в виде картотеки — библиотечного шкафа с карточками, в котором хранятся данные.

• По Инмону мы сначала берем 10 карточек, выписываем из них самое важное на листочек и кладем в шкаф. Подобный подход используют в страховании. Сначала формируют общую картинку о всех застрахованных, собирают данные о доходе, возрасте, хронических болезнях, распространении определенных болезней в регионе, демографии, авариях на дорогах и пр. Все аспекты взаимосвязаны, поэтому сначала собираются все возможные данные, а после фильтруются и ложатся в основу модели.

• По Кимбаллу мы начинаем с нескольких ящиков (витрин данных), а потом решаем, что сложить в общий шкаф. Такой подход используют, например, в маркетинге: чтобы анализировать рекламные кампании не нужно знать абсолютно все, к метрикам нужно подходить выборочно.

При создании DWH также следует учитывать и специфику данных, взаимосвязи внутри групп данных, связи между ними, типы преобразования данных, частоту обновления, взаимосвязь между объектами хранилища, процессы передачи, резервного копирования, восстановления.

Архитектуры облачных хранилищ данных Amazon Redshift, Google BigQuery, Panoply

Последние несколько лет хранилища данных перемещаются в гипероблака вроде Amazon, Google, Microsoft Azure или облачные сервисы вроде Snowflake, Panoply и их аналоги. Агрегаторы постепенно прекращают придерживаться традиционной архитектуры DWH и создают собственные. Например, Amazon Redshift и Google BigQuery. В их основе — различные механизмы вроде MPP и Dremel. Подробнее о новых архитектурах облачных хранилищ можно почитать по ссылке.

Чем DWH отличается от базы данных, Data Lake и Data Mart

Базы данных и хранилища данных — это разные вещи

Многие базы данных — OLTP, рассчитаны на операционную нагрузку, поэтому они выполняют много небольших операций записи, изменения и удаления. В остальном, можно выделить следующие признаки для баз данных:

• информация в первую очередь хранится,
• информация от разных информационных систем компании хранится в разных БД (например, у службы поддержки и отдела логистики БД разные — никто не будет их объединять),
• обновления выполняют конечные пользователи с помощью специальных команд (SQL),
• существуют сложности с агрегированием данных.

С Data Warehouse ситуация другая, хранилище:

• объединяет массивы данных из различных источников — начиная от отдела продаж, заканчивая данными о транзакциях,
• обновляет операционные данные не в real-time, а с некоторой периодичностью — например, раз в час,
• консолидирует данные вместе,
• позволяет получать ответы на большие аналитические запросы (OLAP).

DWH — единый источник информации, основанный на структурированных и неструктурированных данных бизнеса. Инструмент, который используется для аналитики и обнаружения закономерностей и взаимосвязей в данных, которые появляются со временем.

Витрины данных и хранилища данных — разные вещи

Витрины нужны для того, чтобы предоставлять обработанные данные в BI- или отчетную систему, наряду с этим:

• витрины ограничены — подразделением или направлением бизнеса,

• они строятся из данных, которые запрашивают чаще других, поэтому витрины создавать легче и быстрее, чем хранилища,

• комплекс из нескольких витрин обычно ведет к потере целостности данных, потому что сложно обеспечить управление данными и контроль между витринами,

• доступ к историческим данным ограничен.

Озера данных и хранилища данных — не одно и то же

Они отличаются архитектурно и функционально.

DWH как инструмент для анализа данных

«Озера данных», или Data Lake, используют для хранения неформатированных, неструктурированных данных из большого количества внешних источников. Они могут строиться, например, на базе облачного хранилища (S3) и быть дешевле в работе. DWH же предназначены не только для хранения, но и для анализа данных.

Подробнее о разнице между Data Lake и Data Warehouse читайте по ссылке →

Для чего крупному бизнесу хранилище данных

Мы уже определили, что хранилище данных — это информационная система, предназначенная для подготовки отчетов и бизнес-анализа. Наряду с этим DWH помогает:

• безопасно хранить данные в одном месте из множества источников,
• создавать специальные отчеты и работать со сложными запросами,
• преобразовывать данные в стандартный формат даже из устаревших систем,
• очищать и удалять некачественную информации, обнаруживать повторяющиеся, поврежденные или неточные наборы данных,
• сократить общее время обработки для анализа и отчетности,
• хранить большое количество исторических данных.

Архитектор данных

Специалист, который анализирует информационную инфраструктуру компаний, прежде чем планировать и внедрять базы данных. Архитекторы данных разрабатывают и ведут корпоративную бизнес-модель, глоссарий и жизненный цикл данных (data lineage). Конкретные обязанности и требования к специалисту зависят от места работы и специфики деятельности компании.

Hard

Знание архитектурных принципов построения информационных систем и типовых паттернов. Лямбда-архитектура, каппа-архитектура, микросервисный подход — это обязательная база для архитектора данных.

Аналитический склад ума. В работе придётся постоянно анализировать процессы внутри компании и, в соответствии с ними, выстраивать корпоративную бизнес-модель данных.

Необходимые навыки

Soft

Разработка архитектуры DWH (КХД), модели данных, ETL-процессов

Теории алгоритмов, баз данных, основы реляционных баз, моделирование данных, язык программирования SQL.

Работы с реляционными и NoSql базами данных
Владение языками программирования. Обязательно знание SQL. Могут быть полезны Python и C#.
Понимание принципов работы с облачными платформами

Коммуникация. Архитекторы много и часто общаются с руководителями компании, пользователями данных и другими внутренними клиентами систем, которые он выстраивает.

Усидчивость и внимательность к деталям. Большую часть времени архитекторы проводят за компьютером, поэтому для них важно умение концентрироваться.

Работа с BI-инструментами и знание PowerBI, Tableau, Qlick
Виртуализация и контейнеризация — Docker, Kubernetes
Английский язык. Потребуется для изучения лучших практик, технических документаций и форумов.

В работе архитектора данных может быть полезно образование в сфере компьютерных наук и анализа данных, прикладной математики и информатики, бизнес-информатики или смежных областях. Но профильное образование, конечно, не является обязательным требованием для входа в профессию.

Где и сколько учиться

Design It! From programmer to software architect, Michael Keeling. 2017.

В этой книге автор объясняет, как системно подходить к архитектуре цифровых решений. Лейтмотив: перед стартом разработки поймите, чего хочет бизнес. Важно достаточно часто задавать вопрос «почему?», чтобы понимать, чего хочет заказчик. В начале автор знакомит с профессией, а после — разбирает, как эффективно развивать решения.

Полезные книги

37 Things One Architect Knows About IT Transformation. A Chief Architect’s Journey, Gregor Hohpe. 2016.

Грегор Хоп рассматривает, какими навыками и качествами должен обладать архитектор цифровых решений.

Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, Martin Kleppmann. 2017.

Настольная книга многих разработчиков и архитекторов, которая описывает основные идеи, алгоритмы и подходы к работе с данными.

Learning Domain-Driven Design: Aligning Software Architecture and Business Strategy, Vlad Khononov. 2021.

Автор просто и понятно описывает идею domain-driven-дизайна. В книге демонстрируются подходы к работе с доменами, монолитами, применение ключевых строительных блоков, событийная система и прочее.

Release It!. Design and Deploy production-ready software, Michael T. Nygard. 2018.

Когда-то автор работал разработчиком и не задумывался о продакшене, решая задачи с помощью кода. После смены специальности на менеджера поддержки Нигард в корне пересмотрел своё с отношение к рабочим процессам. В книге он описывает свой опыт, позволяющий улучшить качество решений на системном уровне.

Software Architecture in Practice, Len Bass, Paul Clements, Rick Kazman. 2012.

Книга Басса, Клементса и Казмана в основном рассматривает архитектуру как упорядоченный процесс. Авторы делают акцент на самой трудной части — переходе от функциональных требований к реализации с разбором конкретных техник.

Что такое Data Warehouse (DWH)?

Использование Data Warehouse — это один из способов хранения данных. Это отличный вариант для бизнеса, которому необходимо просматривать огромное количество информации из множества источников.

В этой публикации мы рассмотрим, что представляет собой DWH и как оно может помочь вам анализировать вашу информацию.

Data Warehouse: что это?

Хранилище данных или DWH — это Data Management System, включающая в себя огромное количество информации из множества источников. Бизнесы используют Data Warehouse для создания отчетов и аналитической обработки. Используя хранилище, руководители компаний могут обосновывать важные решения, подкрепляя свои идеи качественными и количественными данными.

С помощью DWH вы можете выполнять запросы и просматривать историческую информацию с течением времени, чтобы улучшить процесс принятия решений.

Data Warehouse будет получать информацию из множества источников, включая Relational Databases, транзакционные системы. Для подключения к информации аналитики могут пользоваться Business Intelligence Tools, которые помогают собирать, анализировать, визуализировать, а также составлять отчеты по данным. Поскольку информация постоянно продолжает развиваться, компаниям необходимо использовать ее, чтобы оставаться конкурентоспособными.

Зачем использовать Data Warehouse?

Конечным результатом создания DWH является:

• получение информации;
• мониторинг производительности;
• улучшение процесса принятия решений.

Используя отчеты, информационные панели и визуализации, аналитики получают все инструменты, необходимые для принятия правильных решений.

Отличие Data Warehouse и других терминов

Когда вы впервые слышите термин «хранилище данных», вы можете подумать о некоторых других терминах, таких как «озеро данных», «база данных» или «витрина данных». Однако это разные вещи, потому что они имеют более ограниченную область применения. Хотя они могут выполнять схожую функцию, структура отличается.

Давайте рассмотрим отличия подробнее:

1. Data Warehouse и Database

Базы данных часто путают с хранилищами, потому что они служат схожей цели. Но следует знать, что Data Warehouse и Database — это разные понятия, поскольку функциональные возможности каждой из них существенно разнятся.

Отличие в том, что Database не предназначены для анализа большого количества информации. Базы данных используются для записи и извлечения информации, а DWH предназначены для анализа больших ее объемов. Можно посмотреть на это так: хранилища содержат информацию из нескольких баз данных.

1. Хранилище данных и Data Lake

Кроме того, DWH отличается от Data Lake. В “озере данных” хранятся Raw Data из нескольких источников, которые используются для определенной цели. Это означает, что вы просматриваете необработанную информацию из чего-то вроде социальных сетей или приложения. Наборы данных создаются во время анализа. Это недорогое хранилище для неотформатированной, неструктурированной информации.

С другой стороны, DWH используются для анализа и обработки информации. В хранилище она уже собрана, согласована с контекстом и готова к анализу. В конечном счете, DWH — это более совершенный инструмент хранения информации, который может использовать большие объемы исторических данных.

1. Data Warehouse и Витрина данных

Витрины данных или Data Mart представляет собой часть DWH. Обычно они предназначены для простой доставки определенной информации конкретному пользователю для конкретного приложения. Витрины данных по своей природе являются одним предметом, а хранилища охватывают несколько предметов.

Data Mart — это часть хранилища данных. Обычно они предназначены для простой доставки определенной информации конкретному пользователю в конкретном приложении. Еще разница в том, что витрина данных является одним предметом, а DWH охватывают несколько предметов.

3 типа Data Warehouses

1. Enterprise Data Warehouse

Корпоративное хранилище — это центральные Databases. Информация в них систематизируется, классифицируется и служит для поиска решений. Такие базы данных будут маркировать, а также разделять информацию по категориям для облегчения доступа.

1. Operational Data Store или Хранилище оперативных данных

В то время как Enterprise Data Warehouse лучше подходит для долгосрочных решений в компаниях, Operational Data Store предпочтительнее использовать для повседневной рутинной деятельности. Operational Data Store постоянно предоставляет обновленную информацию и хранит ту, которая относится к выбранной деятельности.

1. Data Mart или Витрина данных

Витрина данных — это часть DWH. Она разработана для поддержки определенного отдела, команды или функции. Любая передаваемая информация автоматически сохраняется и упорядочивается для последующего использования.

Архитектура хранилища данных

Data Warehouse Architecture — это метод, который вы используете для организации, передачи и представления информации.

Вы можете использовать:

• Basic Data Warehouse или базовую архитектуру;
• Data Warehouse With Staging Area или хранилище с промежуточной областью;
• Data Warehouse With Data Marts или хранилище с промежуточной областью и витриной данных.

Это означает, что вы можете получить данные из DWH, а затем позволить пользователям просматривать отчеты и анализ. Или вы можете разбить их на Data Marts, прежде чем пользователи увидят анализ и отчеты.

Промежуточная область или Staging Area, которую вы видите на некоторых изображениях ниже, используется для очистки и обработки данных перед их помещением на DWH. Это упрощает их подготовку. Рассмотрим детальнее каждую архитектуру хранилища.

1. Basic Data Warehouse

Базовое хранилище данных направлено на минимизацию общего объема информации в файлах, которые хранятся в системе. Он делает это, удаляя любую избыточность в информации, делая ее ясной и легкой для просмотра.

Как вы можете видеть в приведенном ниже примере, эта концепция централизует информацию из различных источников. Затем сотрудники получают доступ к данным прямо со DWH. Эта система полезна для малого и среднего бизнеса, которым нужен простой подход к хранению данных.

1. Data Warehouse With Staging Area

Некоторые хранилища очищают и обрабатывают данные перед перемещением файлов в DWH. В этих системах есть «промежуточные области», где информация просматривается, оценивается, затем удаляется или передается на склад. Это гарантирует, что в программном обеспечении будут храниться только актуальные и полезные данные.

Если вы посмотрите на пример ниже, вы увидите, что промежуточная область или Staging Area расположена между источниками данных и хранилищем. Для предприятий, обрабатывающих большие объемы информации о клиентах, этот процесс будет отфильтровывать нерелевантную информацию, невыгодную вашей команде.

I am text block. Click edit button to change this text. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.

1. Data Warehouse With Staging Area and Data Marts

Data Marts или витрины данных добавляют еще один уровень настройки вашего DWH. После того как информация обработана и оценена, Data Marts упорядочивают ее для групп и сотрудников, которые в ней больше всего нуждаются. Это делает ваши отделы значительно более продуктивными, поскольку информация о клиентах доставляется непосредственно им.

В приведенном ниже примере мы можем увидеть, как витрины данных используются для отправки информации в группы продаж и инвентаризации. Это помогает бизнес-лидерам быстрее принимать решения и извлекать выгоду из своевременных маркетинговых возможностей.

Преимущества использования хранилища данных

Основными преимуществами использования DWH являются:

1. Доступ к историческим данным

Большим преимуществом хранения файлов в DWH есть возможность просматривать большой объем исторической информации с течением времени. С помощью хранилища вы можете консолидировать большой объем информации из многих источников, чтобы лучше информировать свои бизнес-решения. Просмотр исторических данных позволит вам анализировать тенденции с течением времени и эффективно вырабатывать стратегию.

1. Комбинирование данных из нескольких источников

С DWH вы будете получать данные из нескольких источников, поэтому у вас будет более полная информационная картина, когда придет время проводить анализ. Например, с витриной вы получаете информацию только от одного субъекта, в отличие от DWH, поскольку они обрабатывают и организуют данные из множества источников.

DWH представляет собой стабильный источник, который используется для просмотра информации на высоком или детальном уровне. В результате этого вы можете внимательно просматривать информацию, а также с высокой скоростью обрабатывать запросы. Data Warehouse содержит высококачественные данные, так как они идут с множества источников, являются согласованными и более точными.

Архитектор-разработчик DWH

Архитектор-разработчик DWH создаёт условия для хранения и организации полезных данных. Он отвечает за извлечение, преобразование, загрузку данных и их обработку. Главная задача — подготовить надёжную инфраструктуру для данных.

Освойте высокооплачиваемую профессию за полцены. Остальное компенсирует государство.

Кому подойдёт курс

• Системным и сетевым администраторам
• Бэкенд- или фулстек-разработчикам
• Новичкам, желающим войти в сферу работы с данными

О Нетологии

Нетология — образовательная платформа. Обучаем современным востребованным профессиям. 35+ тыс. дипломированных выпускников, 10 лет на рынке и 8 направлений обучения.

Наши преимущества

• Преподаватели из крупнейших IT-компаний России
• Готовые кейсы в портфолио и помощь в их оформлении
• Помощь с трудоустройством и поддержка на всех этапах
• Диплом государственного образца
• Возможность получить налоговый вычет — 13%

Чему вы научитесь

• Проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений (Snowflake, BigQuery, Azure SQL DW, Redshift)
• Настраивать и конфигурировать ETL/ELT-процессы в нескольких дата-инструментах
• Работать с основными инструментами обработки больших данных: lambda architecture, kappa architecture, а также hdfs, yarn, hive и другими обязательными частями инфраструктуры
• Строить свой конвейер обработки даннных, сборщик событий, RTDM-систему с выводом в массовые enterprise BI-решения
• Строить работающий пайплайн в облачной среде и включать в него модели машинного обучения, нейронные сети, сервисы оркестрирования контейнеров и проверку версионности
• Разовьёте навык data literacy

Как проходит обучение

• Смотрите видеолекции в удобное для вас время
• Закрепляете знания на практике
• Создаёте итоговый проект и защищаете его
• Получаете диплом и находите новую работу

Диплом подтвердит вашу квалификацию перед работодателем

Мы обучаем по государственной лицензии. При успешной защите итоговых проектов вы получите диплом, который сможете добавить к резюме и показать при устройстве на работу.

Трудоустройство

Поможем найти работу после обучения. У вас будет возможность работать из дома и получать конкурентную зарплату.

• Вместе оформим резюме и портфолио ваших работ
• Подберём вакансии под выбранную профессию
• Научим проходить интервью
• Поможем адаптироваться на новом месте

Часов в программе

82 часа
247 часов
30 часов
промежуточная аттестация
входная диагностика
10 часов
итоговая аттестация
370 часов

Цель программы

Получение компетенции Управление получением, хранением, передачей, обработкой больших данных для создания информационных технологий нового поколения, обеспечивающих экономически эффективное извлечение полезной информации из больших объемов разнообразных данных путем высокой скорости их сбора, обработки и анализа, и применение этих технологий в информационно-аналитической деятельности, в системах управления и принятия решений, а также для разработки на их основе новых продуктов и услуг.

Актуальность

Дополнительная профессиональная программа профессиональной переподготовки «Архитектор-разработчик DWH» предназначена для освоения методов и инструментов, которые позволят проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений. Специалист с таким навыком может: настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах; пояснять и обогащать данные отчётов, дашбордов и других источников информации; может масштабировать инфраструктуру, выбирать из множества разных специфических инструментов, внедрять в продакшн решения коллег.

Входная диагностика 1 час

Входное тестирование на определение уровня базовых знаний в аналитике

Итоговая аттестация 10 часов

Дипломная работа

Компетенции

Анализ больших данных с использованием существующей в организации методологической и технологической инфраструктуры

Архитектуру и структуру базы данных в общем виде.
Аналитические функции SQL, чтобы изучать характеристики данных.
Python для организации передачи и хранения с данных.
Как обрабатывать данные с помощью различных инструментов.

Проектировать аналитические базы данных.
Настраивать и конфигурировать ETL/ELT-процессы.
Работать в Python для data science и работы с данными.
Писать первые самостоятельные программы на языке Python.
Контролировать ход работы при помощи условных операторов.
Разделять программы на составные части при помощи функций и классов.
Работать с обязательными частями инфраструктуры.
Загружать данные в кластер.
Устанавливать и запускать аналитическую СУБД.

Основами системы контроля версий.
Навыком написания простых SQL-запросов, чтобы получать данные из базы данных (БД).
Навыком импорта и экспорта данных в БД.
Python для data science и работы с данными.

Управление получением, хранением, передачей, обработкой больших данных

Простые SQL-запросы, чтобы получать данные из базы данных (БД).
Джоины, чтобы создавать новые таблицы.
Аналитические функции SQL, чтобы изучать характеристики данных.
Базу данных PostgreSQL, чтобы хранить данные.
Принципы проектирования хранилищ данных.
Python для организации передачи и хранения с данных.
Принципы проектирования аналитических баз данных.
Как обрабатывать данные с помощью различных инструментов.

Организовывать работу с традиционными хранилищами данных.
Проектировать аналитические базы данных.
Настраивать и конфигурировать ETL/ELT-процессы.
Передавать данные в дашборд.
Контролировать ход работы при помощи условных операторов.
Разделять программы на составные части при помощи функций и классов.
Обрабатывать данные при помощи фреймворка.
Использовать дашборды для работы с информацией в таблицах.
Отображать данные в различных срезах и различными способами для дальнейшего анализа.
Создавать облачную базу данных.

Навыком написания простых SQL-запросов, чтобы получать данные из базы данных (БД).
Python для data science и работы с данными.

Автоматизация и мониторинг управления данными в течение всего их жизненного цикла

Предметная область деятельности организации, для которой планируется проведение аналитического исследования на основе технологий больших данных
Методы выявления требований заинтересованных лиц организации к методической и технологической инфраструктуре больших данных
Технологии межличностной и групповой коммуникации в деловом взаимодействии, основы конфликтологии
Технологии подготовки и проведения презентаций проектов методической и технологической инфраструктуры
Методы анализа деятельности организации
Основы организационного дизайна
Современные методы и инструментальные средства анализа больших данных
Методы управления проектами в области больших данных
Исследование операций
Методы управления моделями
Методы принятия решений
Методы интерпретации и визуализации больших данных
Источники информации, в том числе информации, необходимой для обеспечения деятельности в предметной области организации

Информирование о возможностях методов и инструментов больших данных
Проведение анализа бизнес-процессов и функций подразделений организации
Составление реестра задач и процессов, для которых могут быть эффективно применены методы и инструменты анализа больших данных
Разработка отчета о возможности и целесообразности использования технологий больших данных в организации
Разработка технического предложения создания методической и технологической инфраструктуры больших данных

Предобработка данных с помощью Python
Создание инфраструктуры для больших данных
Обработка данных при помощи Spark и Airflow
Обработка real-time данных
Построение работающего пайплайна в облачной среде
Внедрение принципов гибкого подхода MLOps

Управление качеством больших данных

Метрики качества больших данных
Базовые характеристики качества больших данных
Методы и технологии управления качеством больших данных
Методы оценки рисков использования больших данных

Определять происхождение данных и оценивать источники больших данных
Определять и устранять проблемные зоны при обеспечении качества больших данных
Измерять и оценивать качество больших данных
Проводить оценку и устранение рисков использования больших данных

Анализа реализации стратегии обеспечения качества больших данных
Проведения оценки качества больших данных
Разрешения проблем и инцидентов с качеством больших данных
Оценки рисков использования больших данных