data engineer развлекательного контента

Описание: КИОН — часть цифровой экосистемы МТС. Компания создаёт оригинальный развлекательный контент и развивает сервисы для просмотра фильмов и сериалов на любом устройстве. Флагманский проект — онлайн-кинотеатр KION с более чем 200 телеканалами, тысячами фильмов, сериалов, мультфильмов и документальных проектов. Команда внедряет lakehouse нового поколения с разделением compute и storage, а также поддерживает DWH на Greenplum и Hadoop. Задачи: Разрабатывать и рефакторить ETL/ELT-пайплайны на PySpark; Разрабатывать и поддерживать OLAP-движки StarRocks и ClickHouse; Поддерживать текущие пайплайны на Greenplum и Hadoop; Выполнять миграцию с HDFS на S3; Оптимизировать Spark-приложения. Требования: Опыт работы с Python от 3 лет; Глубокое знание SQL и опыт работы с большими данными; Опыт работы с Apache Airflow; Опыт проектирования и разработки ETL/ELT-процессов; Опыт работы с колоночными базами данных, включая ClickHouse; Знание принципов построения Data Warehouse и Data Lake; Понимание различий между OLTP- и OLAP-системами; Уверенная работа с Linux и Git; Понимание процессов CI/CD. Условия: Оклад и годовой бонус; ДМС с первого месяца работы со 100% покрытием расходов в частных клиниках, включая стоматологию; Страхование близких родственников со скидкой 50%; Страховка для поездок за границу и страхование жизни; Очное и онлайн-обучение, профессиональные сообщества и доступ к онлайн-библиотеке; Оплачиваемые выходные на значимые события в жизни; Материальная помощь в сложных жизненных ситуациях; Корпоративная мобильная связь и интернет; Единая подписка МТС Premium с доступом к KION, МТС Music и МТС Строкам; Предложения партнёров для путешествий, развлечений и занятий спортом; Участие в волонтёрских, образовательных и экологических проектах; Внутренняя спортивная программа «В движении».