Data Engineer (офис, Москва)
Эта же роль в других локациях (2)
- Москва
- Москва
Коротко
Develops a Data Management Platform, writing complex SQL, building Scala/PySpark pipelines, and working with Apache Spark and Lakehouse architecture. · Needs: 3+ years experience; strong SQL; 2+ years Scala or strong Python/PySpark; Apache Spark; Airflow/Dagster; Git and CI/CD.
Описание от работодателя
КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.
В связи с активным развитием проектов в компании открыта вакансия Data Engineer ОФИС В МСК
ФОРМАТ РАБОТЫ: ОФИС, МСК
Стек технологий: SQL, Hadoop, Spark, Hive
Основные обязанности:
- Построение логических и/или физических моделей данных;
- Опыт построения таблиц с версионированием данных (бизнес/техническая история , ескд2);
- Знание etl процессов;
- Проектирование алгоритмов загрузки (инит/архив, инкремент, выделение дельты изменений);
- SQL - уверенные знания ;
- Опыт работы с инструментарием Hadoop (Spark, Hive, HDFS, YARN);
- разработка java дистрибутива etl процесса;
- Работа с БД с использованием Spark java framework;
- настройка параметров spark фреймворка (оптимизация Spark контекста);
- Работа с датафреймами и датасетами;
- Оптимизация плана запросов.
- опыт со scala будет преимуществом
МЫ ПРЕДЛАГАЕМ:
Работу в стабильной компании, "белую" заработную плату;
Оформление в соответствии с ТК РФ с первого дня работы;
Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
Профессиональное обучение и развитие;
Яркая и насыщенная корпоративная жизнь;
Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления.
ФОРМАТ РАБОТЫ: ОФИС, МСК