Descrição da Vaga
Estamos em busca de um(a) Engenheiro(a) de Dados para atuar na sustentação e evolução da plataforma de dados da Motiva, garantindo disponibilidade, confiabilidade e performance dos pipelines e produtos de dados utilizados pelas diferentes áreas da companhia. O profissional atuará na investigação e resolução de incidentes, desenvolvimento de melhorias e evolução de pipelines utilizando Azure, Databricks, Python, PySpark e SQL, trabalhando com arquitetura Lakehouse e organização dos dados em camadas. A posição exige autonomia técnica, capacidade investigativa e interação constante com equipes de Analytics, Ciência de Dados, Governança e áreas de negócio.
Responsabilidades
- Sustentar, monitorar e evoluir pipelines de ingestão e processamento de dados.
- Investigar e corrigir falhas em pipelines, jobs, notebooks e processos de dados.
- Desenvolver soluções utilizando Python, PySpark e SQL.
- Desenvolver e manter pipelines em Azure e Databricks.
- Atuar na ingestão, transformação e disponibilização de dados nas diferentes camadas da arquitetura.
- Garantir qualidade, integridade, rastreabilidade e disponibilidade dos dados.
- Realizar análise de causa raiz de incidentes e implementar soluções definitivas.
- Monitorar e otimizar performance de pipelines e processamento de dados.
- Desenvolver integrações com bancos de dados, arquivos, APIs e diferentes fontes de informação.
- Automatizar atividades operacionais e processos recorrentes.
- Aplicar boas práticas de desenvolvimento, versionamento e CI/CD.
- Atuar em conjunto com Analytics, DataViz, Ciência de Dados e Governança.
- Documentar pipelines, procedimentos técnicos e soluções implementadas.
- Apoiar a gestão de incidentes, problemas, requisições e melhorias do ambiente.
Requisitos
- ✓Experiência com Microsoft Azure.
- ✓Experiência sólida com Databricks.
- ✓Conhecimento em Python, PySpark e SQL.
- ✓Experiência na construção e sustentação de pipelines de dados.
- ✓Conhecimento em Azure Data Factory.
- ✓Experiência com processamento distribuído utilizando Spark.
- ✓Conhecimento em arquitetura Lakehouse e Medalhão (Bronze, Silver e Gold).
- ✓Experiência com modelagem e transformação de dados.
- ✓Conhecimento em Git e Azure DevOps.
- ✓Experiência com APIs e integração entre diferentes fontes de dados.
- ✓Conhecimento em boas práticas de engenharia, qualidade e governança de dados.
- •Experiência com Delta Lake.
- •Conhecimento em Unity Catalog.
- •Experiência com CI/CD e DataOps.
- •Conhecimento em observabilidade e monitoramento de pipelines.
- •Experiência com Hadoop/Hive.
- •Conhecimento em Power BI.
- •Experiência com MLOps.
- •Vivência em ambientes de AMS ou sustentação de plataformas de dados.
- ✓Forte capacidade investigativa e resolução de problemas.
- ✓Autonomia para análise e tratamento de incidentes.
- ✓Proatividade na identificação de melhorias e automações.
- ✓Boa comunicação com áreas técnicas e de negócio.
- ✓Organização e disciplina operacional.
- ✓Capacidade de atuar com múltiplas demandas e diferentes níveis de criticidade.
- ✓Senso de ownership e responsabilidade sobre as soluções sustentadas.
Benefícios
- ✓Vale refeição ou Vale alimentação
- ✓Plano de saúde extensível a cônjuge e filhos
- ✓Plano odontológico
- ✓Wellhub (Gympass)
- ✓Auxílio Pet
- ✓Plano de medicamentos + Bem-estar 360°
- ✓Seguro de vida
- ✓Crédito do Trabalhador (e-Consignado)
- ✓Auxílio creche - conforme regras sindicais da localidade
- ✓Programa de acompanhamento à gestante
- ✓Programa Minha Nova Parceria de Confiança
- ✓Day off no seu aniversário
- ✓Bônus de indicação para nossas vagas
- ✓Jubileu (premiação personalizada por tempo de empresa)
Categorias
Sobre a Empresa
Mais vagas na Semantix →Fundada em 2010 no Brasil e com presença em Brasil, Argentina, Uruguai, Colômbia, Chile e México, a Semantix desenvolve soluções Data Driven para organizações que precisam estar sempre um passo à frente, utilizando o que existe de mais atual em tecnologia. Hoje, somos mais de 2.000 colaboradores.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
