Middle Data Engineer (онлайн-кинотеатр [компания])
Название откроется после отклика или сразу в Pro
Описание от работодателя
KION — это часть цифровой экосистемы МТС. Мы создаем оригинальный развлекательный контент развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. Наш флагманский проект — современный онлайн-кинотеатр KION который предлагает более 200 телеканалов, тысячи фильмов, сериалов, мультфильмов и документальных проектов. Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.
Чем предстоит заниматься: Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark;
Разрабатывать и поддерживать OLAP движки Starrocks/Clickhouse;
Поддерживать текущие пайплайны на Greenplum и Hadoop;
Осуществлять миграцию с HDFS на S3;
Проводить оптимизацию Spark-приложений;
Что мы ожидаем: Опыт работы с Python от 3 лет;
Глубокое знание SQL и опыт работы с большими данными;
Опыт работы с Apache Airflow
Опыт проектирования и разработки ETL/ELT процессов;
Опыт работы с колоночными БД (ClickHouse);
Знание принципов построения Data Warehouse и Data Lake;
Понимание разницы между OLTP/OLAP системами;
Уверенная работа c linux и git;
Понимание процессов ci/cd;
Что мы предлагаем: Оклад + годовой бонус при выполнении KPI
ДМС с первого месяца работы и страховка для поездок за границу
Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты.
Корпоративная программа «ON Медиа Спорт»: оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта