Engenheiro de Dados - Sênior

🌍 Remoto📍 Remoto

Descrição da Vaga

A FCamara busca um Engenheiro de Dados Sênior para atuar em parceria com uma grande empresa do segmento de Tecnologia da Informação e Serviços, com mais de 40 anos de mercado. Essa empresa está presente no dia a dia de milhões de brasileiros, desenvolvendo soluções que impactam positivamente alimentação, saúde, transporte e cultura, garantindo mais tempo e qualidade de vida para empresas, trabalhadores e suas famílias. Você fará parte de um time de alta performance, com autonomia e responsabilidade para criar e evoluir soluções robustas, escaláveis e seguras.

Responsabilidades

Atuar na modernização e migração de plataformas legadas de dados para arquiteturas modernas em Azure Databricks e Data Lakehouse.
Realizar assessment de ambientes legados, identificando oportunidades de modernização e melhoria.
Executar engenharia reversa de pipelines ETL e workflows desenvolvidos em Oracle e Informatica PowerCenter.
Projetar, desenvolver e implementar pipelines escaláveis utilizando PySpark, Spark SQL e Delta Lake.
Migrar processos ETL tradicionais para arquiteturas ELT, garantindo maior desempenho, escalabilidade e governança.
Desenvolver e manter pipelines batch e near real-time em ambientes distribuídos.
Implementar e gerenciar arquiteturas em camadas (Bronze, Silver e Gold) seguindo o padrão Medallion Architecture.
Integrar soluções com serviços do ecossistema Azure, como Azure Data Lake Storage Gen2, Azure Data Factory, Databricks e Azure Key Vault.
Aplicar boas práticas de engenharia de dados, incluindo versionamento, testes, observabilidade, monitoramento e tratamento de falhas.
Implementar mecanismos de resiliência, como retry, idempotência e dead-letter.
Otimizar performance de workloads Spark e consultas SQL, buscando eficiência operacional e redução de custos.
Implementar e apoiar práticas de governança de dados, controle de acesso, data lineage e gerenciamento de metadados.
Trabalhar em parceria com áreas de negócio e equipes técnicas para traduzir requisitos em soluções de dados escaláveis e confiáveis.
Apoiar a definição de arquiteturas modernas de dados alinhadas a conceitos como Data Mesh, Data Vault e Medallion Architecture.

Requisitos

✓Experiência sólida como Engenheiro(a) de Dados Sênior.
✓Experiência em projetos de migração e modernização de plataformas legadas de dados.
✓Conhecimento avançado em Oracle e Informatica PowerCenter.
✓Experiência com Azure Databricks, PySpark e Spark SQL.
✓Conhecimento em Delta Lake e arquiteturas Lakehouse.
✓Experiência com Azure Data Lake Storage Gen2 (ADLS Gen2), Azure Data Factory (ADF) e Azure Key Vault.
✓Vivência na construção de pipelines batch, ELT e near real-time.
✓Conhecimento em modelagem de dados utilizando Data Vault, Star Schema e Medallion Architecture.
✓Experiência em orquestração de pipelines utilizando Azure Data Factory e Databricks Workflows.
✓Conhecimento em governança de dados, Unity Catalog, controle de acesso e data lineage.
✓Experiência em otimização de performance de aplicações Spark e consultas SQL.
✓Conhecimento em práticas de CI/CD, versionamento com Git, testes automatizados e monitoramento.
✓Experiência na implementação de mecanismos de resiliência, como retry, idempotência e dead-letter.
✓Capacidade de atuar em ambientes críticos, com foco em alta disponibilidade, escalabilidade e governança.
✓Boa comunicação para interação com áreas de negócio e equipes multidisciplinares.
•Forte experiência em modernização de plataformas legadas.
•Experiência em engenharia reversa de workflows e mapeamentos do Informatica PowerCenter.
•Capacidade de traduzir regras de negócio complexas em pipelines escaláveis e de alta performance.
•Conhecimento em estratégias de otimização e redução de custos no Azure Databricks.
•Experiência na integração entre soluções open source e ambientes cloud.
•Visão arquitetural, atuando não apenas no desenvolvimento, mas também na definição de soluções e padrões técnicos.
•Conhecimento em frameworks modernos de arquitetura de dados, como Data Mesh e Data Vault.

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Grupo FCamara →

Somos um ecossistema de tecnologia e inovação que potencializa o futuro de negócios integrando visão estratégica com execução inteligente, lado a lado com nossos clientes, para proporcionar experiências transformadoras.[Ver Mais]