Descrição da Vaga
O Grupo SysMap busca um(a) Engenheiro(a) de Dados Sênior para atuar no desenvolvimento, evolução e sustentação de pipelines de dados escaláveis. O profissional será responsável pela ingestão, transformação e disponibilização de informações em ambiente Databricks, utilizando Python, SQL, Spark e DBT. A atuação envolve o projeto, implementação e otimização de processos de ETL/ELT, garantindo alta performance, confiabilidade, governança e qualidade dos dados. Além disso, construirá, manterá e monitorará workflows e DAGs no Apache Airflow, assegurando a correta orquestração e automação das cargas de dados, e atuará na modelagem e implementação das camadas Bronze, Silver e Gold seguindo a arquitetura Lakehouse.
Responsabilidades
- Desenvolver, evoluir e sustentar pipelines de dados escaláveis para ingestão, transformação e disponibilização de informações em ambiente Databricks, utilizando Python, SQL, Spark e DBT.
- Projetar, implementar e otimizar processos de ETL/ELT, garantindo alta performance, confiabilidade, governança e qualidade dos dados ao longo do ciclo de vida das soluções.
- Construir, manter e monitorar workflows e DAGs no Apache Airflow, assegurando a correta orquestração, automação e observabilidade das cargas de dados.
- Atuar na modelagem e implementação das camadas Bronze, Silver e Gold seguindo a arquitetura Lakehouse e as melhores práticas de Data Engineering.
- Integrar dados provenientes de múltiplas fontes, como APIs, bancos de dados relacionais e não relacionais, sistemas corporativos e serviços em nuvem.
- Apoiar a definição de padrões técnicos, boas práticas de desenvolvimento, versionamento, testes e documentação de pipelines de dados.
- Trabalhar em parceria com equipes de Analytics, BI, Data Science e áreas de negócio para entender requisitos e transformar necessidades em soluções de dados escaláveis.
- Investigar e solucionar incidentes, problemas de performance e falhas em processos de dados, garantindo a estabilidade e disponibilidade da plataforma.
Requisitos
- ✓Experiência sólida como Engenheiro(a) de Dados Sênior em projetos de dados corporativos e ambientes de grande volume de informações.
- ✓Domínio de Databricks, Apache Spark, Delta Lake, Python e SQL para desenvolvimento, sustentação e otimização de pipelines de dados.
- ✓Experiência prática com DBT para transformação, modelagem e gerenciamento de ativos de dados.
- ✓Conhecimento avançado em Apache Airflow para orquestração, monitoramento e automação de fluxos de dados.
- ✓Experiência com arquitetura Lakehouse e modelagem de dados nas camadas Bronze, Silver e Gold.
- ✓Vivência em integração de dados por meio de APIs REST, bancos de dados relacionais e outras fontes corporativas.
- ✓Conhecimento em versionamento de código utilizando Git e experiência com Azure DevOps ou ferramentas similares de CI/CD.
- ✓Experiência em práticas de qualidade, monitoramento, observabilidade e governança de dados.
- ✓Conhecimento em performance tuning e otimização de consultas e pipelines de processamento de dados.
- •Certificações Databricks, Azure Data Engineer Associate ou similares.
- •Experiência com Azure Data Lake Storage (ADLS), Azure Data Factory (ADF) e demais serviços de dados na nuvem Azure.
- •Conhecimento em DataOps, CI/CD para pipelines de dados e Infraestrutura como Código (IaC).
- •Experiência com ferramentas de Data Quality, Data Governance e Observabilidade de Dados.
Categorias
Sobre a Empresa
Mais vagas na Grupo SysMap →Somos o Grupo SysMap, formado pelas marcas SysMap Solutions, TriggoLabs e triggo.ai, um ecossistema de empresas de grande impacto no mercado, com soluções inovadoras em tecnologia que transformam negócios e desenvolvem pessoas.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
