Descrição da Vaga
Buscamos um(a) Analytics Engineer Pleno para atuar no desenvolvimento, evolução e sustentação de pipelines analíticos em ambiente de dados em nuvem. O profissional será responsável por construir e manter processos de ingestão, transformação e disponibilização de dados, garantindo qualidade, performance e confiabilidade das informações consumidas pelas áreas de negócio e times analíticos.
Responsabilidades
- Atuar com Python e Spark para processamento de dados em larga escala, utilizando Airflow como ferramenta de orquestração.
- Ser responsável por pipelines de extração e integração em AWS, operando em ambientes distribuídos com Kubernetes e EMR.
- Trabalhar com SQL, S3 e Trino no armazenamento e camada analítica, apoiando a modelagem e consulta de dados analíticos.
- Participar da definição e manutenção da infraestrutura de dados utilizando Terraform, apoiado por framework proprietário de Infraestrutura como Código (IaC).
- Colaborar com times de engenharia, analytics e negócio.
- Atuar no tuning e otimização de jobs Spark.
- Realizar versionamento e padronização de pipelines.
- Contribuir com boas práticas de observabilidade, governança e escalabilidade da plataforma.
Requisitos
- ✓Experiência sólida com desenvolvimento de pipelines de dados (ingestão, transformação e disponibilização).
- ✓Conhecimento em Python para processamento de dados.
- ✓Experiência com Spark para processamento em larga escala.
- ✓Vivência com Airflow para orquestração de workflows.
- ✓Experiência com serviços de dados na AWS, especialmente com S3 e EMR.
- ✓Experiência com ambientes distribuídos e conteinerização, utilizando Kubernetes.
- ✓Domínio de SQL para modelagem e consulta de dados analíticos.
- ✓Experiência com motores de consulta distribuída, como Trino.
- ✓Conhecimento em Infraestrutura como Código (IaC), utilizando Terraform.
- ✓Experiência com versionamento de código (Git).
- ✓Vivência com otimização e tuning de jobs Spark.
- ✓Conhecimento em boas práticas de governança, observabilidade e qualidade de dados.
Categorias
Sobre a Empresa
Mais vagas na Extractta →A Extractta nasceu com o propósito de transformar tecnologia em resultados reais para empresas de diversos segmentos. Ao longo da nossa trajetória, nos consolidamos como uma consultoria de inovação e tecnologia que une estratégia, pessoas e soluções digitais para apoiar organizações em seus desafios...[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa