Data Engineer (Потоковая загрузка)

Твои задачи: Участвовать в интеграционных проектах по развитию DWH (Hadoop) в роли ETL- разработчика Разрабатывать и проектировать потоки данных, алгоритмы загрузки и обработки данных в Hadoop и ClickHouse Писать сложные SQL запросы Оптимизировать и настраивать производительность процессов обработки данных Анализировать и тестировать существующие решения в технологическом стеке (Hadoop) Мы ждём от тебя: Хорошее знание SQL Опыт работы с реляционными СУБД (Oracle, MS/SQL, Posgres) Опыт работы с Hadoop (Spark, Hive, HDFS, YARN), NiFi, Kafka, ClickHouse, Flink Навыки программирования на Scala/Java/Python (на выбор) Понимание принципов построения хранилищ данных Опыт работы с REST API в части интеграции Что мы обеспечим: Возможность удаленной работы на территории РФ Сессии профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника ДМС (поликлиническое обслуживание, вызов врача на дом, услуги скорой помощи, экстренная госпитализация, вакцинация от гриппа, базовые услуги стоматологических клиник и психологическая поддержка, оформление международного страхового полиса) и скидку на покупку ДМС для ближайших членов семьи Технику для комфортной работы Обучение и участие в конференциях за счет компании, повышение квалификации в корпоративном университете Лиг