Data Engineer - Fabric [M/F]

Celem projektu jest budowa i rozwój nowoczesnej, skalowalnej platformy danych w ekosystemie Microsoft Azure, umożliwiającej efektywną integrację, transformację i przetwarzanie rosnących ilości danych. Projekt koncentruje się na automatyzacji procesów data engineeringowych, zapewnieniu wysokiej jakości i dostępności danych oraz budowie niezawodnych i wydajnych pipeline’ów danych z wykorzystaniem Microsoft Fabric, Azure Databricks, Azure Data Factory, Python i SQL. Daily tasks: - Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych oraz procesów integracyjnych. - Implementacja procesów ETL/ELT z wykorzystaniem Microsoft Fabric, Azure Databricks, Python i SQL. - Praca nad złożonymi scenariuszami ekstrakcji, transformacji i ładowania danych. - Integracja danych z różnych źródeł oraz zapewnienie ich jakości, spójności i dostępności. - Projektowanie i rozwój modeli danych. - Współpraca ze stakeholderami oraz zespołami Agile w celu analizy i realizacji wymagań dotyczących danych. - Monitorowanie wydajności procesów i infrastruktury oraz identyfikowanie i eliminowanie wąskich gardeł. - Implementacja mechanizmów zapewniających data quality, accuracy i reliability. - Automatyzacja procesów związanych z przetwarzaniem i integracją danych. - Rozwój i utrzymanie procesów CI/CD w Azure DevOps. - Wykorzystywanie podejścia Infrastructure as Code. - Tworzenie i utrzymywanie dokumentacji technicznej. Doświadczenie zawodowe na stanowisku Data Engineer lub w podobnej roli. Bardzo dobra znajomość SQL. Praktyczna znajomość Python w obszarze przetwarzania i integracji danych. Doświadczenie z Azure Databricks. Praktyczna znajomość Microsoft Fabric. Doświadczenie z Azure Data Factory. Znajomość Azure Functions. Doświadczenie z Azure DevOps, w szczególności w zakresie CI/CD. Dobra znajomość zagadnień związanych z Data Modelling. Znajomość koncepcji i praktyczne doświadczenie z Infrastructure as Code. Doświadczenie w projektowaniu, optymalizacji i monitorowaniu pipeline’ów danych. Must have: Microsoft Fabric, Azure Data Factory, Python, SQL