Descrição da Vaga
A Leega busca um Engenheiro de Dados Sênior para arquitetar e evoluir o datalake, que serve como o sistema nervoso de dados da companhia. Este sistema alimenta, em tempo real, o motor de precificação dinâmica, modelos de Machine Learning e a inteligência comercial do grupo. O profissional será responsável por definir a arquitetura Lakehouse multi-tenant, desde o streaming até a camada semântica, garantindo sua confiabilidade, governança e custo.
Responsabilidades
- Desenhar e evoluir o data lake em Apache Iceberg sobre S3, com camadas bem definidas, particionamento e compaction, time-travel e suporte a DELETE/UPDATE para LGPD.
- Construir ingestão em tempo real (Kafka, Flink, CDC com Debezium) com evolução de schema controlada (Schema Registry) e garantias de entrega.
- Modelar a camada de transformação em dbt e orquestrar fluxos batch e de qualidade em Airflow, do crawler ao backfill.
- Manter as definições de métricas em Cube.js, a fonte única que alimenta o BI e os agentes de IA e garante consistência em toda a empresa.
- Operar consulta federada e OLAP de baixa latência sobre o lake, com isolamento de custo e acesso por tenant e queries performáticas.
- Assegurar testes de dados, lineage e eficiência de custo, mantendo a plataforma confiável à medida que escala.
- Trabalhar lado a lado com cientistas de dados, ML engineers e as áreas de negócio.
Requisitos
- ✓Domínio de SQL e otimização de queries em ambientes distribuídos (Mínimo 5 anos).
- ✓Python com experiência sólida em PySpark ou processamento distribuído.
- ✓Orquestração (Airflow), ELT e dbt aplicados em larga escala (Mínimo 4 anos).
- ✓Streaming (Kafka, Flink) e arquiteturas Lakehouse com Apache Iceberg (Mínimo 3 anos).
- ✓Sólida noção de governança, qualidade e modelagem de dados.
- ✓Conforto com desenvolvimento assistido por IA (Claude Code).
- •Conhecimento em CDC (Debezium) e OLAP de baixa latência (ClickHouse, Pinot, Trino/Athena).
- •Conhecimento em Semantic Layers (Cube.js, dbt) e arquiteturas Data Mesh.
- •Conhecimento em Governança e catálogo (OpenMetadata, Lake Formation).
- •Conhecimento em Vector databases (Qdrant) e pipelines de dados para ML.
Categorias
Sobre a Empresa
Mais vagas na Leega Consultoria →Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo,...[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
