Весна 2023

DWH (ML-23)

Цель курса — Изучение подходов проектирования процессов обработки больших объемов данных, выбора архитектуры хранилища и выстраивания процесса внедрения от концепции до полноценного функционирования системы. Получение навыков работы с распределенными вычислениями в экосистеме Hadoop

Описание

Не секрет, что объем накопленных данных в современном мире колоссален, и те компании, которые умеют извлекать из этих данных знания и монетизировать их, всегда будут на шаг впереди конкурентов.
Однако, без должного подхода к организации работы с данными, их очистке, анализу и хранению, вместо ценного ресурса накопленные данные превращаются в неконтролируемую свалку, которая мертвым грузом висит на балансе организации.

Подробнее

Чему научитесь

Получаемые навыки
- Умение выбрать между подходами к построению ХД
- Знание основных подходов к проектированию БД (OLAP, Data Vault, Anchor modeling) и умение сделать обоснованный выбор между ними
- Умение проектировать потоки данных с помощью code-driven средств
- Навыки работы с Hadoop, Spark
- Навык выбора модели данных и ETL-инструмента адекватно задаче

Подробнее

Преподаватели