Редактирование курса
← Назад к списку
ID элемента
Offer ID
school_key
Источник
Название
Школа
Цена
Старая цена
Мин. платеж
Длительность
Ссылка на курс
Диплом/сертификат
Формат обучения
Картинка
Путь категорий
Аналитика / Data Engineering
Плюсы
Минусы
1) Ну и, конечно, потраблшутить🤯 и разбираться с непонятными формулировками, некачественными данными и работающей со сбоями инфраструктурой. Всё как в реальной жизни, и даже чуточку больше.;2) Знакомство с Data Lake, сбор требований, знакомство с Hadoop, архитектура HDFS, репликация данных и блоки в HDFS, управление HDFS из консоли, проектирование хранения данных в HDFS.;3) Проектирование хранилища по слоям, выбор модели данных, проектирование слоёв CDM и STG, хранение исторических данных, проектирование слоя DDS, проектирование ETL между слоями.;4) Транзакции и их свойства, изоляция транзакций, паттерн Transactional Outbox, сбор данных из PostgreSQL и MongoDB, перенос данных из STG в DDS, заполнение витрины в слое CDM.;5) Когда в теории что‑то непонятно, нейросеть ответит на вопросы или объяснит материал другими словами. А в конце каждого урока подготовит краткий пересказ о самом главном.;6) Из минусов — у нас, как у первой когорты, были проблемы с инфраструктурой. Но это было частично прогнозировано. Я сильного дискомфорта из-за этого не испытал.;7) Сбор требований для DWH, модель данных в PostgreSQL, MongoDB как NoSQL-СУБД, подключение к MongoDB, данные в MongoDB, как связаны данные в источниках.;8) Redis — key-value хранилище, как его поднять в Yandex Cloud, изучение данных в Redis, как поднять Kafka в Yandex Cloud, изучение данных в Kafka.;9) Исходные данные, staging-слой, проверка качества данных, выбор модели для аналитического хранилища, разработка аналитического хранилища.;10) Виды загрузок, слои хранения, как разложить данные по готовым слоям, порядок загрузки объектов, проектирование системы восстановления.
Информация о курсе
Научитесь разрабатывать архитектуру данных и освоите проектирование пайплайнов. Узнаете, как создавать витрины и хранилища. Добавите в портфолио 9 проектов.
Программа курса
1)Он должен быть основан на открытых источниках, а тема — связана с инженерией данных<br/>2)1 модуль — бесплатно, чтобы вы попробовали курс и решили, подходит ли он вам<br/>3)Знакомство с Data Lake, сбор требований, знакомство с Hadoop, архитектура HDFS, репликация данных и блоки в HDFS, управление HDFS из консоли, проектирование хранения данных в HDFS<br/>4)Проектирование хранилища по слоям, выбор модели данных, проектирование слоёв CDM и STG, хранение исторических данных, проектирование слоя DDS, проектирование ETL между слоями<br/>5)Примерите роль начинающего инженера данных, который только вышел на работу в IT‑компанию: получите требования от лида и построите по ним витрину данных<br/>6)Redis — key-value хранилище, как его поднять в Yandex Cloud, изучение данных в Redis, как поднять Kafka в Yandex Cloud, изучение данных в Kafka<br/>7)Исходные данные, staging-слой, проверка качества данных, выбор модели для аналитического хранилища, разработка аналитического хранилища<br/>8)Виды загрузок, слои хранения, как разложить данные по готовым слоям, порядок загрузки объектов, проектирование системы восстановления<br/>9)Как поднять PostgreSQL в Yandex Cloud, структура баз данных, подготовка контейнера, планирование и написание логики первого сервиса<br/>10)Ответите на несколько вопросов и поймёте, достаточно ли у вас знаний и навыков, чтобы комфортно проходить курс
Чему вы научитесь
1)Знакомство с Data Lake, сбор требований, знакомство с Hadoop, архитектура HDFS, репликация данных и блоки в HDFS, управление HDFS из консоли, проектирование хранения данных в HDFS<br/>2)навыки и знания инженера данных, чтобы использовать их на текущей должности или сменить работу. Освоите архитектуры данных, ETL-процессы, Airflow, PySpark и другие инструменты.<br/>3)Проектирование хранилища по слоям, выбор модели данных, проектирование слоёв CDM и STG, хранение исторических данных, проектирование слоя DDS, проектирование ETL между слоями<br/>4)Примерите роль начинающего инженера данных, который только вышел на работу в IT‑компанию: получите требования от лида и построите по ним витрину данных<br/>5)Redis — key-value хранилище, как его поднять в Yandex Cloud, изучение данных в Redis, как поднять Kafka в Yandex Cloud, изучение данных в Kafka<br/>6)Исходные данные, staging-слой, проверка качества данных, выбор модели для аналитического хранилища, разработка аналитического хранилища<br/>7)Виды загрузок, слои хранения, как разложить данные по готовым слоям, порядок загрузки объектов, проектирование системы восстановления<br/>8)Как поднять PostgreSQL в Yandex Cloud, структура баз данных, подготовка контейнера, планирование и написание логики первого сервиса<br/>9)Освоите всю необходимую базу для уверенного старта в профессии — даже если у вас нет технического образования и опыта в IT<br/>10)Ответите на несколько вопросов и поймёте, достаточно ли у вас знаний и навыков, чтобы комфортно проходить курс
Лучший курс
Курс на главной
Дата начала
Статус курса
Активность
Meta Title
Meta Description
Инженер данных — Data Engineering, в Яндекс Практикум - practicum.yandex.ru, цена 119000 ₽, формат: Смешанный, Диплом / Сертификат. Смотрите программу, описание, отзывы и условия обучения.
Дата создания
Дата изменения
Сохранить