Senior Data Engineer - IT Contracting

Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks. Branża: Technology & Telecoms Obszar: IT Data Analysis Oferujemy Stawka do 34 EUR/h Praca w pełni zdalna Start projektu: 1 listopada Długoterminowy projekt do 31.10.2027 Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danych Realny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę Lakehouse Umowa B2B via Michael Page Daily tasks: - Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks. - Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake. - Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych. - Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold. - Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych. - Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania. - Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości. - Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych. - Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych. - Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych. - Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów. - Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli. Bardzo dobra znajomość Azure Databricks. Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL. Znajomość Delta Lake i architektury Lakehouse. Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold. Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure. Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure. Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów. Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage). Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance. Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych. Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych. Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych. Bardzo dobra znajomość języka angielskiego. Mile widziane: Doświadczenie z Databricks Workflows oraz Databricks Jobs. Znajomość Delta Live Tables lub Lakeflow. Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych. Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych. Must have: Azure Databricks, Python, PySpark, Spark SQL, API, Azure, ADLS, Data engineering Nice to have: Databricks, Delta Live Table