Senior Data Engineer Kafka / Spark (k/m), branża bankowa

Required skills: Apache Kafka, Apache Spark, PySpark, Python, Java, MongoDB, CI/CD, Prometheus, Grafana Nice to have: Kafka O projekcie W Ideamotive szukamy doświadczonej osoby na stanowisko Senior Data Engineer. Dołączysz do nas, aby realizować projekty dla klientów z sektora bankowego. Skupiamy się na budowie i rozwoju platform danych opartych o Kafkę, Sparka oraz architekturę lakehouse. Oferujemy długoterminową współpracę, w której pojedynczy projekt trwa zazwyczaj około roku. Twój zakres obowiązków Projektowanie i rozwój przepływów danych oraz integracji. Budowanie i utrzymywanie rozwiązań opartych na Kafce (Streams, Connect, ksqlDB) lub Sparku. Definiowanie schematów danych oraz ich transformacji. Monitorowanie i optymalizacja wydajności systemów. Diagnozowanie i rozwiązywanie problemów technicznych. Dbanie o bezpieczeństwo przetwarzanych danych. Tworzenie dokumentacji technicznej. Przeprowadzanie code review. Czego oczekujemy Minimum 3 lata doświadczenia na stanowisku Data Engineer lub Backend Developer w obszarze przetwarzania danych. Praktyczna znajomość Apache Kafka lub Apache Spark. Umiejętność programowania w języku Java (Spring Boot) lub Python. Doświadczenie w pracy z MongoDB lub inną bazą danych NoSQL. Znajomość procesów CI/CD oraz praktyk DevOps. Doświadczenie z narzędziami do monitoringu (Prometheus, Grafana, OpenTelemetry). Mile widziane Znajomość Apache Iceberg lub Delta Lake. Doświadczenie z mechanizmami bezpieczeństwa Kafki (TLS, SASL, ACL). Praktyczna znajomość chmury AWS. Doświadczenie z Kubernetes i Terraform. Wcześniejsza praca przy hurtowniach danych w branży finansowej. Proces rekrutacyjny Nasz proces jest krótki i konkretny. Składa się z rozmowy wstępnej, technicznej rozmowy merytorycznej oraz ostatecznej decyzji.