Engenheiro de Dados Sênior / Especialista - AWS / Snowflake / Iceberg

🌍 Remoto📍 Remoto

Descrição da Vaga

A Leega busca um Engenheiro de Dados Sênior/Especialista para atuar em uma arquitetura lakehouse na AWS, onde o Snowflake é o Data Warehouse principal e consome tabelas Apache Iceberg armazenadas no S3. O profissional será referência técnica no ecossistema de dados, responsável por projetar, construir e evoluir pipelines robustos e a interoperabilidade entre o data lake e o warehouse, garantindo qualidade, performance, controle de custo e governança das soluções entregues.

Responsabilidades

Projetar e implementar pipelines de ingestão, transformação e disponibilização de dados em ambiente AWS, escrevendo e mantendo tabelas Apache Iceberg no S3.
Desenvolver jobs de processamento distribuído em Spark (EMR e/ou AWS Glue), incluindo cargas incrementais, upserts (MERGE) e reprocessamentos históricos.
Garantir a integração entre Snowflake e o lakehouse Iceberg: external volumes, catalog integration (Glue Data Catalog), tabelas gerenciadas pelo Snowflake versus externamente gerenciadas e sincronização de metadados.
Executar e automatizar a manutenção das tabelas Iceberg: compactação de arquivos pequenos, expiração de snapshots, remoção de arquivos órfãos, evolução de schema e de particionamento.
Modelar e otimizar modelos de dados e queries no Snowflake, garantindo performance e uso eficiente de recursos.
Monitorar e otimizar custo e performance dos ambientes AWS e Snowflake (dimensionamento de warehouses, clustering, politicas de cache, custo de leitura no data lake).
Atuar na definição de boas praticas de engenharia de dados: versionamento em Git, CI/CD, testes de dados, documentação e linhagem.
Implementar controles de governança e segurança: RBAC, politicas de mascaramento e de row access no Snowflake e permissionamento via Lake Formation.
Diagnosticar e solucionar problemas de performance e disponibilidade em ambientes de dados críticos.
Atuar como referencia técnica do time: revisão de código, mentoria de profissionais menos experientes e registro de decisões de arquitetura.
Colaborar com times de dados, produto e negocio no levantamento de requisitos e na definição de soluções.

Requisitos

✓Experiência comprovada de no mínimo 5 anos atuando em ambiente Cloud AWS.
✓Experiência comprovada de no mínimo 3 anos com Snowflake, incluindo modelagem, otimização de queries e gestão de warehouses e custo.
✓Experiência comprovada em produção com Apache Iceberg (desejável 2 anos ou mais): particionamento, evolução de schema, snapshots e time travel, MERGE e rotinas de manutenção e compactação.
✓Experiência com Apache Spark em escala (PySpark), incluindo tuning de jobs e diagnostico de skew e shuffle.
✓Conhecimento em serviços AWS voltados a dados: S3, Glue (ETL e Data Catalog), EMR, Athena, Lambda e Step Functions.
✓Domínio de SQL avançado para consultas complexas e otimização em ambientes de grande volume de dados.
✓Experiência com modelagem de dados e arquiteturas de Data Warehouse, Data Lake e Lakehouse.
✓Conhecimento em Python aplicado a automação e engenharia de dados.
✓Experiência com orquestração de pipelines (Airflow, Step Functions, dbt ou equivalente).
✓Conhecimento em Git e cultura de versionamento, testes e code review.
✓Inglês técnico para leitura de documentação.
•Certificação SnowPro (Core ou Advanced).
•Certificações AWS (Solutions Architect, Data Engineer ou Data Analytics).
•Experiência com Terraform ou outra ferramenta de Infraestrutura como Código.
•Conhecimento em dbt em produção.
•Experiência com catálogos abertos (Glue Data Catalog, Polaris / Open Catalog, Unity) e cenários multi-engine.
•Experiência com streaming (Kinesis, Kafka / MSK, Snowpipe Streaming).
•Conhecimento em ferramentas de observabilidade e qualidade de dados (dbt tests, Great Expectations, Monte Carlo).

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Leega Consultoria →

Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo,...[Ver Mais]