Data Engineer (Цифровой двойник)

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7. Мы разрабатываем и обеспечиваем данными « Цифровой Двойник» города Москвы — информационную систему для архитектурной визуализации, BIM, CIM и геоинформационного обеспечения, позволяющую правительству Москвы своевременно принимать управленческие решения в области градостроительства. Что нужно делать: проектирование, разработка и поддержка решений для хранения и обработки больших данных построение ETL-процессов поставки данных из внутренних и внешних источников сопровождение, поддержка и оптимизация разработанных пайплайнов разрабатывать логику для витрин данных, внедрять модели на больших данных создание и развитие процессов управления данными и их качеством Какие знания и навыки важны: продвинутые знания SQL: умение разбираться в сложных запросах, знать как их анализировать и оптимизировать опыт работы с базами данных PostgreSQL, Greenplum, Clickhouse, Hive опыт работы с Airflow и NiFi опыт разработки в экосистеме Hadoop знания фреймворка Spark, опыт оптимизации запросов знание и опыт разработки на Python навыки разработки технической документации будет плюсом Что предлагаем: официальное трудоустройство в аккредитованную ИТ-компанию график работы 5/2, офис в 3 минутах от станции метро Курская ежегодное премирование по результатам работы материальную помощь в случае важных событий в жизни корпоративное обучение и доступ к онлайн-библиотеке скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д. корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!