🏢
Engenheiro de Dados Sênior (Integração SAP)
Publicada em
Ver 1.441 vagas de Data Science / Analytics →🌍 Remoto📍 Remoto
PUBLICIDADE
Descrição da Vaga
O Grupo SysMap busca um Engenheiro de Dados Sênior com forte domínio em Databricks e integração de dados do ecossistema SAP. O profissional atuará na arquitetura, desenvolvimento e implementação de soluções avançadas de Engenharia de Dados, construindo e otimizando pipelines, implementando arquiteturas Lakehouse e desenvolvendo processos de ETL/ELT para garantir a qualidade, escalabilidade, governança e disponibilidade das informações para ambientes analíticos e estratégicos.
Responsabilidades
- Projetar, desenvolver e manter pipelines de dados utilizando Databricks, garantindo eficiência, escalabilidade e performance no processamento de grandes volumes de informações.
- Desenvolver processos de ingestão, transformação e processamento de dados utilizando Apache Spark, PySpark e SQL.
- Implementar arquiteturas Lakehouse e Medallion (Bronze, Silver e Gold), estruturando fluxos de dados desde a ingestão até a disponibilização para consumo analítico.
- Trabalhar com Delta Lake, Delta Tables e recursos avançados do Databricks para armazenamento, versionamento, otimização e gerenciamento de dados.
- Desenvolver e otimizar processos de ETL/ELT, integrando diferentes fontes de dados, especialmente sistemas SAP.
- Atuar na extração, integração e transformação de dados provenientes do SAP S/4HANA, SAP ECC e demais soluções do ecossistema SAP.
- Implementar integrações entre SAP e Databricks utilizando APIs, OData, conectores e mecanismos de ingestão de dados.
- Desenvolver soluções de processamento em batch e streaming, conforme as necessidades dos projetos.
- Implementar boas práticas de governança, qualidade, segurança, linhagem e monitoramento de dados, incluindo recursos do Unity Catalog.
- Realizar otimizações de performance em consultas SQL, jobs e workflows no ambiente Databricks.
- Atuar na automação e orquestração de pipelines, garantindo a confiabilidade e a disponibilidade dos processos.
- Trabalhar em conjunto com equipes de Arquitetura, BI, Analytics e áreas de negócio na construção de soluções orientadas a dados.
PUBLICIDADE
Requisitos
- ✓Experiência sólida em Engenharia de Dados, com atuação em projetos de arquitetura e processamento de grandes volumes de dados.
- ✓Experiência avançada e prática com Databricks, incluindo desenvolvimento, implementação e otimização de pipelines de dados.
- ✓Domínio de Apache Spark, PySpark e Spark SQL.
- ✓Conhecimento avançado em Delta Lake, Delta Tables e arquitetura Lakehouse.
- ✓Experiência com arquitetura Medallion (Bronze, Silver e Gold).
- ✓Conhecimento em Databricks Workflows, Jobs e recursos de orquestração.
- ✓Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados.
- ✓Domínio de SQL e Python aplicados à Engenharia de Dados.
- ✓Experiência em processos de ETL/ELT e integração de múltiplas fontes de dados.
- ✓Conhecimento do ecossistema SAP, especialmente SAP S/4HANA e/ou SAP ECC.
- ✓Experiência com extração e integração de dados SAP por meio de APIs, OData, RFC, IDoc ou outros mecanismos.
- ✓Conhecimento em SAP Datasphere, SAP BW/4HANA ou SAP Data Services.
- ✓Vivência com ambientes em nuvem, preferencialmente AWS, Azure ou Google Cloud.
- •Certificação Databricks Data Engineer Associate ou Professional.
- •Experiência com Delta Live Tables/Lakeflow Declarative Pipelines.
- •Conhecimento em CI/CD, Git e automação de deploy de pipelines.
- •Experiência com processamento de dados em tempo real (streaming).
- •Conhecimento em SAP BTP e SAP Integration Suite.
- •Experiência com arquiteturas de dados modernas e ambientes corporativos de grande porte.
Categorias
Sobre a Empresa
Mais vagas na Grupo SysMap →Somos o Grupo SysMap, formado pelas marcas SysMap Solutions, TriggoLabs e triggo.ai, um ecossistema de empresas de grande impacto no mercado, com soluções inovadoras em tecnologia que transformam negócios e desenvolvem pessoas.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
Senior Data Engineer [Vaga Afirmativa para PCD]
Jusbrasil
Analista de Business Intelligence
Gera Sales Ecosystem
Analytics Engineer Sênior
Omie
Bling I Engenheiro de Dados Sênior (Foco Machine Learning e IA) I Remoto
Geekhunter
Analista de Planejamento e Performance Comercial Sênior
iFood
Engenheiro de IA Sênior
Vetta