QA Engineer (m/f/n)

Required skills: Python, QA, Playwright, PostgreSQL Dla jednego z naszych partnerów biznesowych poszukujemy specjalisty na stanowisko QA Engineer (m/f/n) Oferta: Stawka do ok. 125 zł/h netto+VAT Kontrakt B2B z SHIMI Praca w 100% zdalna Start: ASAP Czas trwania projektu: do 14.12.2026, z realną perspektywą kontynuacji przez co najmniej 12 miesięcy w związku z planowanym rozwojem projektu w 2027 roku O projekcie Dotyczy automatyzacji produkcji gazet reklamowych dla regionalnego wydawcy. Na podstawie zamówionych reklam i insertów system określa wielkość wydania. Pipeline’y AI generują treści redakcyjne na podstawie e-maili, danych owydarzeniach i materiałów archiwalnych. Dwa solvery oparte na OR-Tools CP-SAT odpowiadają za dobór treści i układ stron. Końcowym wynikiem jest gotowy do druku PDF w jakości 300 dpi, zgodny z PDF/X-3. W procesie pozostają dwa punkty kontroli manualnej: akceptacja redakcyjna, akceptacja przed drukiem. System pracuje na niejednorodnych i często niekompletnych danych wejściowych. Część rozwiązania jest niedeterministyczna ze względu na wykorzystanie AI, a część opiera się na optymalizacji matematycznej. Model pracy: duża samodzielność; osoba otrzymuje cele i dostęp do systemów, samodzielnie definiuje specyfikację testów i prowadzi temat, współpracując z Tech Leadem. Stack technologiczny • Python • PostgreSQL • AWS EKS • LangGraph • LiteLLM • Langfuse • Redis • Grafana • React • TypeScript Wymagania must-have poziom Senior i doświadczenie w samodzielnym prowadzeniu QA w co najmniej jednym projekcie, doświadczenie w samodzielnym tworzeniu i wdrażaniu test concept / test strategy, bardzo dobra znajomość automatyzacji testów w Pythonie i pytest, doświadczenie w konfiguracji i utrzymywaniu testów w pipeline’ach CI, doświadczenie w testowaniu backendów i systemów danych, w tym API, data pipelines, batch processing i integracji, doświadczenie w generowaniu syntetycznych lub rule-based danych testowych, doświadczenie w runtime, performance i volume testing systemów backendowych lub batchowych, doświadczenie w testowaniu parallel processing, umiejętność projektowania scenariuszy wydajnościowych, definiowania metryk analizowania bottlenecków, doświadczenie w automatyzacji testów frontendu, np. Playwright lub narzędzie porównywalne, doświadczenie w testach manualnych i exploratory testing, doświadczenie z defect classification, severity levels i release criteria, angielski C1 (to język projektu) Dodatkowe atuty doświadczenie w testowaniu systemów AI / ML / LLM, doświadczenie w evaluation i pracy z niedeterministycznymi wynikami, znajomość Langfuse lub podobnych narzędzi, doświadczenie w tworzeniu AI-supported test agents lub LLM-based test automation, property-based testing, doświadczenie w testowaniu systemów optymalizacyjnych lub planistycznych, doświadczenie w walidacji PDF lub materiałów do druku, doświadczenie w branży publishing / media, znajomość języka niemieckiego. Zakres odpowiedzialności 1. Test concept i podejście do QA stworzenie i utrzymywanie koncepcji testów, określenie poziomów testów i podziału odpowiedzialności pomiędzy development i QA, risk-based prioritization, określenie podejścia do środowisk i danych testowych, zdefiniowanie klasyfikacji błędów i severity levels, określenie kryteriów dla blockerów, zdefiniowanie acceptance i release criteria dla testowych wydań oraz produkcyjnego go-live, przygotowanie dokumentacji umożliwiającej nowym osobom rozpoczęcie testów bez dodatkowego walkthrough. 2. Test automation przygotowanie koncepcji automatyzacji testów i jej wdrożenie, testy integracyjne i API, testowanie pipeline’ów, automatyzacja w Pythonie z wykorzystaniem pytest, integracja testów z CI, testy regresji PDF, w tym visual comparison, preflight i walidacja PDF/X-3, automatyzacja testów frontendu, np. przy użyciu Playwright, opcjonalnie wykorzystanie AI-supported testing, np. LLM-driven browser agents, generowanie przypadków testowych lub danych testowych. 3. Test data generowanie syntetycznych, zróżnicowanych danych testowych według zdefiniowanych reguł, uwzględnianie niekompletnych danych, błędów formatów, duplikatów i edge case’ów, testowanie różnych kombinacji wielkości wydań i struktury reklam, budowanie i utrzymywanie referencyjnych datasetów na podstawie rzeczywistych wydań, property-based testing, np. Hypothesis. 4. Mierzenie jakości definiowanie i automatyczne zbieranie metryk jakościowych, monitorowanie trendów i regresji. Przykładowe metryki dla solvera: • fill rate, • white space, • stosunek reklam do treści redakcyjnych, • naruszenia reguł, • runtime względem search budget. Przykładowe metryki dla pipeline’ów AI: • zgodność długości tekstu z założonym limitem, • regresje po zmianie promptu lub modelu. 5. Runtime, performance i volume testing pomiar czasu wykonania, throughputu i jakości wyniku, testowanie dużych wydań, testowanie ponownych uruchomień wynikających z późnych zmian, testowanie kilku tytułów produkowanych równolegle, analiza runtime i jakości wyników solvera, testy wolumenowe oparte na syntetycznych danych, profiling i analiza metryk w Grafanie, testowanie skalowania w AWS EKS, uwzględnienie docelowego wdrożenia rozwiązania na większą skalę oraz późniejszego rozszerzenia rozwiązania na dzienniki. 6. Manual testing exploratory testing, release testing w obszarach, w których automatyzacja nie jest uzasadniona lub nie została jeszcze wdrożona, planowanie i dokumentowanie testów manualnych.