Engenheiro De Dados

Atuação: Híbrido 2x na semana em SP - Shopping Cidade Jardim

Sobre a vaga

O Engenheiro de Dados Databricks será responsável por projetar, implementar e manter pipelines de dados escaláveis na plataforma Databricks. Esta função envolve trabalhar de perto com cientistas de dados, analistas e outras partes interessadas para garantir a qualidade dos dados, otimizar o desempenho e habilitar análises avançadas.

Responsabilidades

• Projetar e desenvolver processos ETL e pipelines de dados usando Databricks.
• Colaborar com funcionais e analistas para entender os requisitos de dados e entregar soluções.
• Otimizar e ajustar clusters Databricks para desempenho e eficiência de custos.
• Implementar verificações de qualidade de dados e garantir a integridade dos dados.
• Desenvolver e manter documentação para pipelines de dados e processos.
• Monitorar e solucionar problemas de pipelines de dados e gargalos de desempenho....