Azure Data Engineer
Коротко
Designs and develops data pipelines and processing solutions with Azure Databricks, Python, Apache Spark, and Azure Data services (Data Lake, Data Factory · Needs: Strong Azure Databricks, Python, and Apache Spark; experience with ADLS Gen2, Data Factory/Synapse; API knowledge; ETL design and data modeling; CI/CD and Git.
Описание от работодателя
🚀 Zakres obowiązków:
Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python
Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)
Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)
Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne
Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami
Integracja rozwiązań danych z innymi systemami w organizacji
Usprawnianie wydajności, skalowalności i kosztów rozwiązań
🛠️ Wymagania:
Bardzo dobra znajomość:
Azure Databricks
Python
Apache Spark
Doświadczenie z usługami Azure:
Data Lake (ADLS Gen2)
Data Factory / Synapse
Znajomość API (REST lub podobne)
Doświadczenie w projektowaniu ETL oraz modelowaniu danych
Podstawowa znajomość architektury danych
Doświadczenie z CI/CD i Git
Umiejętność rozwiązywania problemów i pracy w metodykach Agile
Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi)
➕ Mile widziane:
Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming)
Znajomość Unity Catalog oraz zasad data governance
Doświadczenie z narzędziami wizualizacji danych (np. Power BI)
Znajomość Databricks Asset Bundles
Originally posted on Himalayas