Databricks Data Engineer | Senior
Коротко
Builds and migrates data engineering solutions on Databricks; develops Spark/PySpark pipelines; implements Lakehouse and Medallion architecture. · Needs: Proficiency in PySpark, Apache Spark, SQL; experience with Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines, Lakeflow Connect, Jobs/Workflows
Описание от работодателя
.
Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks;
Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos;
Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark;
Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold);
Interpretação de regras de negócio e tradução em processos e soluções de dados;
Participação em projetos de migração e modernização de plataformas de dados;
Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines.
Domínio de PySpark, Apache Spark e SQL;
Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow Declarative Pipelines;
Conhecimento em Lakeflow Connect para ingestão de dados;
Experiência com Jobs, Workflows, orquestração e monitoramento de pipelines;
Vivência com arquitetura Lakehouse e modelo Medallion (Bronze, Silver e Gold);
Experiência com migração de plataformas ou desenvolvimento de projetos em Databricks;
Conhecimento de Git, CI/CD e boas práticas de desenvolvimento e deploy;
Conhecimento de ferramentas e tecnologias como Airflow, Kafka, dbt, AWS Glue e BigQuery;
Experiência com bancos SQL/NoSQL, como PostgreSQL, MongoDB ou Cassandra.
Diferencial: Experiência em projetos contábeis e financeiros, certificação Databricks Certified Data Engineer Associate.
Originally posted on Himalayas