Senior Data Engineer

О компании: Мы создаем единую систему цифровой маркировки и прослеживания товаров в России и странах ЕАЭС. Наша система позволяет снизить уровень контрафакта и гарантировать подлинность товаров, производимых в стране или ввозимых в нее. Честный Знак - одна из самых высоконагруженных платформ, которой нет аналогов: — микросервисная архитектура на Kubernetes с Istio в нашей собственной инфраструктуре; — петабайты живых данных, с которыми круглосуточно работают наши сервисы и клиенты через API; — миллиарды транзакций в день и десятки тысяч запросов в секунду; — аналитика в реальном времени на потоках событий и масштабная батчевая аналитика по ночам; — мобильное приложение с 27+ миллионов установок; — десятки релизов в продакшн каждый день, feature flags, инфраструктура как код. Под капотом - Kafka, Cassandra, Spark, Airflow, Iceberg, ClickHouse, GitLab CI/CD, Helm, Prometheus, Grafana. Мы не боимся сложных задач и запускаем в продакшн смелые инженерные идеи! О команде: Данные – это нефть 21 века. Данные «Честного знака» - настоящий Клондайк, глобальное месторождение эксклюзивных фактов о товарообороте страны. Мы трекаем каждый экземпляр из маркированных товарных групп и на этом строим уникальные показатели. Мы ищем в bigdata-команду разработчика, обладающего уверенными знаниями в области построения систем на базе Hadoop/Spark, способного реализовать дорожную карту по развитию озера данных «Честного Знака». Технологический стек: Текущий стек команды: Hadoop / S3 MinIO / Spark 3/4 (batch/streaming) / Scala / SQL / Hive / Kafka / HBase / ClickHouse / PostgreSQL / Airflow / k8s / Zeppelin / Jupyter / Iceberg (MOR, COW) / Cassandra. Смотрим в сторону: DBT для «золотого» слоя данных / YTsaurus / Comet, Gluten и др. Наши данные в числах: поток > 20k RPS, > 1,5e12 фактов, > 25 Пб данных в HDFS. Чем предстоит заниматься: Влиять на стратегию развития архитектуры платформы, исследованиями и разработкой пилотных решений. Предлагать, отстаивать и реализовывать архитектурные решения (POC). Настраивать сборку приложений и их размещение как docker контейнеров в k8s, мониторинг их работоспособности. Участвовать в pre-prod тестировании, выводе приложений в PROD среду и диагностике в случае сбоев. Тесное сотрудничать с другими командами департамента по внедрению разработанных решений. Прототипировать ETL процессы c необходимым эмулированием данных с использованием Jupyter Lab / Zeppelin. Работать в команде преимущественно в режиме удалённой работы. От успешного кандидата мы ожидаем: Подтвержденный опыт разработки от 3-х лет. Понимание базовых структур данных. Опыт применения алгоритмов и возможность про них рассказать. Уверенные знания и опыт работы в стеке Spark (batch/streaming) on Hadoop. Опыт работы с реляционными БД. Экспертное знание SQL. Уверенное знание Scala/Python. Знание и опыт работы с DevOps, понимание принципов CI/CD в области обработки данных. Почему именно мы: Возможности для развития Участие в митапах и конференциях: делимся знаниями и учимся у других. Внутренние корпоративные тренинги. Buddy-поддержка: путеводитель в корпоративную жизнь компании. Заботимся о сотрудниках Здоровье: ДМС (включая стоматологию) после испытательного срока, компенсация больничных до оклада (10 рабочих дней в год), полис путешественника, корпоративные психологи. Материальная помощь в сложных жизненных ситуациях. Кафетерий льгот: не только на спорт и обучение, но и ИТ-сервисы, расширение ДМС для семьи. Удобство и комфорт Оформление по ТК РФ в аккредитованной ИТ-компании. Работай удаленно из любой точки России, в гибридном формате или из офиса в центре Москвы/Петербурга (рядом с метро). Гибкое начало рабочего дня. Выдаем рабочую технику: ноутбук, монитор, гарнитура - всё для продуктивной работы. Жизнь в компании Открытая культура общения. Спорт: футбол, волейбол, йога - вариантов много, выбирай или создай свое комьюнити! Воркшопы, праздники для детей, книжный клуб - скучно не будет. Стильный мерч, который хочется носить. Реферальная программа: приводи друзей и получай бонусы. Если ты хочешь расти профессионально, работать с классными людьми и при этом чувствовать заботу - ждем в нашей команде!