Machine Learning Engineer (Kandinsky)
Коротко
Optimizes ML models for inference frameworks (Diffusers, FastVideo, SGLang, vLLM, Comfy-UI), builds high-load distributed inference pipelines (PyTorch, FSDP · Needs: Expert Python, PyTorch, torch.distributed; experience with FSDP/TP/PP; bf16/fp8; SGLang, vLLM, Transformers; diffusion models; English B2+
Описание от работодателя
Оптимизируем наши модели под форматы популярных инференсных фреймворков. Задача создание инфраструктуры для эффективного инференса наших моделях во всех популярных фреймворках: Diffusers, FastVideo, SGLang, vLLM, Comfy-UI. А также создание воркеров для доступа к инференсу наших моделей на fal.ai, Arena.ai и др.
Обязанности Разработка и оптимизация high-load пайплайнов распределенного инференса (PyTorch) с использованием FSDP, Tensor/Sequence Parallelism.
Имплементация моделей в популярных фреймворках: Diffusers, SGLang, vLLM, FastVideo, Comfy-UI, Transformers
Развертывание воркеров для инференса моделей
Требования Экспертный уровень Python, PyTorch, torch.distributed.
Опыт масштабного инференса моделей с FSDP/TP/PP.
Понимание работы разных типов данных (bf16, fp8).
Опыт работы с SGLang, vLLM, Transformers
Понимание принципов работы диффузионных моделей
Английский язык B2+
Условия комфортный современный офис рядом с м. Кутузовская
ежегодный пересмотр зарплаты, годовая премия
корпоративный спортзал и зоны отдыха
система обучения для профессионального и карьерного развития
расширенный полис ДМС с первого дня работы и страхование для семьи
льготная программа ипотеки для сотрудников
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
вознаграждение за рекомендацию друзей в команду Сбера.