Descrição da Vaga
A Leega Consultoria busca um Engenheiro de Dados Sênior com foco em AWS para atuar na migração e otimização de pipelines de dados. O profissional será responsável por liderar o desenho técnico e a execução da migração de pipelines e workloads para o Databricks, garantindo performance, segurança e governança. Além disso, irá construir, refatorar e otimizar processos de ingestão e transformação de dados em lote e streaming, utilizando PySpark em ambiente Cloud AWS e Databricks.
Responsabilidades
- Liderar o desenho técnico e a execução da migração de pipelines de dados e workloads para o Databricks.
- Construir, refatorar e otimizar processos de ingestão e transformação de dados em lote e streaming (ex: Kafka), utilizando PySpark em ambiente Cloud AWS e Databricks.
- Projetar e evoluir a arquitetura de dados (conceito Lakehouse), implementando a Arquitetura Medalhão (camadas Bronze, Silver e Gold) e explorando o potencial de Delta Tables.
- Atuar como referência técnica dentro de squads multidisciplinares, aplicando e disseminando as melhores práticas de desenvolvimento, testes e CI/CD para processamento distribuído.
- Discutir necessidades e gargalos com stakeholders e traduzir requisitos de negócio em arquiteturas de dados eficientes, contribuindo com novos produtos e visões que gerem insights acionáveis.
Requisitos
- ✓Formação Superior completa em Ciência da Computação, Engenharia da Computação, Análise de Sistemas ou áreas correlatas
- ✓Sólida experiência no ecossistema de Cloud AWS (S3, IAM, Athena, Glue, EMR, etc.) e em desenho estratégico de arquitetura de dados
- ✓Forte vivência com Databricks (Workspace, Unity Catalog, Databricks Workflows, Delta Lake) e profundo conhecimento do motor do Spark (otimização de queries, gestão de memória, particionamento)
- ✓Programação avançada em Python voltada para dados e domínio de processamento distribuído (PySpark, SparkSQL)
- ✓Experiência prática na construção de pipelines de dados modernos e ferramentas de orquestração (Apache Airflow)
- ✓Conhecimento em streaming de dados (Apache Kafka, Kinesis ou Spark Structured Streaming)
- ✓Experiência com liderança técnica, excelente gestão de tempo e sólidas habilidades de comunicação (capacidade de traduzir a complexidade dos dados para áreas não-técnicas)
- ✓Perfil colaborativo, orientado à resolução de problemas, inovação de processos e vivência em frameworks ágeis
- •Conhecimento em Business Intelligence
- •Certificação Cloud
Benefícios
- ✓Convênio Médico Porto Seguro (com possibilidade de incluir cônjuge e filhos)
- ✓Convênio Odontológico Porto Seguro
- ✓Participação nos Lucros e Resultados (PLR)
- ✓Auxílio Creche
- ✓Vale Alimentação e Refeição Alelo
- ✓Auxílio Home Office Proporcional
- ✓Parcerias com Instituições de Ensino (descontos e incentivos em cursos e graduações)
- ✓Incentivo para Certificações, inclusive em Cloud (GCP, Azure, AWS)
- ✓Pontos Livelo
- ✓TotalPass (planos de academia com desconto para colaboradores e familiares)
- ✓MindSelf (incentivo à qualidade de vida através de meditação e Mindfulness)
Categorias
Sobre a Empresa
Mais vagas na Leega Consultoria →Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo,...[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa