PUBLICIDADE
Descrição da Vaga
A Stefanini busca um Engenheiro de Dados III para atuar no desenvolvimento e manutenção de pipelines de dados, utilizando tecnologias como PySpark e Apache Airflow. O profissional será responsável por projetar e implementar soluções de ingestão, transformação e disponibilização de dados em ambiente AWS, além de colaborar com equipes de analytics e ciência de dados para garantir a entrega de dados confiáveis.
Responsabilidades
- Desenvolver e manter pipelines de dados em PySpark, garantindo alta performance, escalabilidade e confiabilidade.
- Projetar e implementar soluções de ingestão, transformação e disponibilização de dados em ambiente AWS (S3, Glue, Athena, EMR).
- Orquestrar workflows de dados utilizando Apache Airflow, assegurando agendamento, monitoramento e recuperação de falhas.
- Modelar e otimizar consultas SQL para grandes volumes de dados, aplicando boas práticas de particionamento e column pruning.
- Implementar e manter esteiras de CI/CD para deploy automatizado de pipelines, scripts e DAGs.
- Trabalhar em colaboração com equipes de analytics, ciência de dados e negócio para garantir a entrega de dados confiáveis e no prazo.
- Colaborar na melhoria contínua dos pipelines.
- Desenvolver soluções em Databricks para processamento distribuído e análises exploratórias.
- Participar ativamente de cerimônias ágeis, como plannings, dailies e retrospectivas.
PUBLICIDADE
Requisitos
- ✓Experiência sólida com Python e PySpark para processamento de dados em larga escala.
- ✓Domínio de SQL para modelagem, transformação e análise de dados.
- ✓Experiência com Databricks (notebooks, jobs, Delta Lake).
- ✓Conhecimento prático em serviços AWS voltados a dados (S3, Glue, Athena, EMR).
- ✓Experiência com Apache Airflow para orquestração de pipelines (criação de DAGs, sensors, operadores).
- ✓Experiência com CI/CD aplicado a dados (Azure DevOps Pipelines, GitHub Actions ou similares).
- ✓Conhecimento em arquitetura de Data Lake (medallion architecture, formatos colunares, tabelas Iceberg/Delta).
- ✓Habilidade de escrever código limpo, parametrizado e testável.
- ✓Conhecimento em ferramentas de versionamento de código (Git, branching strategies, pull requests).
- ✓Capacidade de trabalhar em um ambiente ágil e colaborativo.
- ✓Boas habilidades de comunicação e trabalho em equipe.
- •Experiência com Power BI para criação de dashboards e visualizações de dados.
- •Familiaridade com ferramentas de IA/Vibe Code (Kiro, Cursor) para aceleração de desenvolvimento.
- •Experiência com Apache Iceberg ou Delta Lake para tabelas transacionais.
- •Conhecimento em qualidade de dados (Great Expectations ou similares).
Benefícios
- ✓Vale-alimentação ou vale-refeição
- ✓Desconto em cursos, universidades e instituições de idiomas
- ✓Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado
- ✓Mentoring
- ✓Clube de vantagens para consultas e exames
- ✓Assistência médica
- ✓Assistência odontológica
- ✓Clube de vantagens e descontos nos melhores estabelecimentos
- ✓Clube de viagens
- ✓Convênio para pets
Categorias
Sobre a Empresa
Mais vagas na Stefanini Group →Entregamos soluções digitais inovadoras e eficazes, que auxiliam os nossos clientes em suas jornadas digitais, sempre aplicando o nosso propósito de tornar a tecnologia um agente de mudança para um mundo melhor.
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
PUBLICIDADE