Инженер данных (Data engineer)
Коротко
Builds and optimizes data pipelines for batch and streaming data, manages orchestration (Airflow), and develops benchmarks for data solutions. · Needs: Python and SQL proficiency; Linux command line; experience with PostgreSQL, ClickHouse, FTP/NFS/S3; Docker/LXD; ETL scripting with pandas/polars/PyArrow.
Описание от работодателя
ГК "ИнфоТеКС", входящая в ТОП-5 компаний России в сфере защиты информации, лидер в разработке средств защиты информации, приглашает Инженера данных
Обязанности:
Наладить потоковую или batch-поставку данных, организовать оркестрацию задач (например, Airflow).
Настраивать автоматический сбор данных из разных источников (базы данных, API, файлы, очереди сообщений).
Развивать и оптимизировать текущую архитектуру хранения: организовывать долгосрочное хранение данных (Data Lake / Parquet), обеспечивать интеграцию между источниками и аналитическими БД.
Поднимать и поддерживать тестовые стенды для отработки сценариев сбора данных (Docker Compose, генераторы тестовых данных).
Разработка бенчмарков для оценки функциональных и нефункциональных характеристик решений.
Требования: Опыт разработки на Python и уверенное владение SQL.
Уверенное владение командной строкой Linux.
Опыт работы с источниками данных: реляционные БД (PostgreSQL), аналитические БД (ClickHouse) и файловые системы/объектные хранилища (FTP/NFS/S3).
Навыки контейнеризации (Docker/LXD) и умение поднимать локальные стенды для тестирования своих пайплайнов.
Опыт написания ETL-скриптов на Python (включая библиотеки pandas, polars или PyArrow) для трансформации и перемещения данных между источниками.
Умение писать простые бенчмарки (замерять время, память, CPU).
Условия:
работа в офисе в г. Уфа;
полное соблюдение трудового законодательства РФ, оплачиваемые отпуска и больничные листы, "белая" заработная плата;
оплачиваемое работодателем питание в офисе или кафе;
ДМС (добровольное медицинское страхование), страховка от несчастных случаев;
корпоративные мероприятия и спортивные инициативы;
возможность получения профессиональных сертификатов и прохождения курсов повышения квалификации за счёт компании.