PUBLICIDADE
Descrição da Vaga
A Compass UOL está em busca de um(a) Especialista em AWS Data Science para liderar o desenvolvimento e a evolução das capacidades de sua Feature Store. Este profissional será responsável por projetar e implementar tabelas Apache Iceberg, otimizar a camada de serving com Redis para features em tempo real e integrar Amazon EMR para processamento em escala, atuando como referência técnica para os times de dados e ciência.
Responsabilidades
- Liderar o desenvolvimento e evolução das capacidades da Feature Store: data lineage, feature views, feature recommendation e novos motores de consulta;
- Projetar e implementar tabelas Apache Iceberg com foco em performance de leitura, versionamento e evolução de schema;
- Arquitetar e otimizar a camada de serving com Redis para features em tempo real com SLOs rigorosos de latência;
- Integrar e otimizar Amazon EMR como motor de consulta e processamento em escala;
- Definir e implementar pipelines de feature selection e transformação com rastreabilidade end-to-end;
- Estabelecer padrões de qualidade, versionamento e governança de features para toda a plataforma;
- Atuar como referência técnica para times de dados e ciência que consomem a Feature Store.
PUBLICIDADE
Requisitos
- ✓Expertise em engenharia de features em plataformas de ML corporativas (Feast, Tecton, Hopsworks ou equivalentes);
- ✓Domínio avançado de Apache Spark/PySpark para processamento distribuído em escala;
- ✓Profundo conhecimento de Apache Iceberg e arquiteturas lakehouse (comparativo com Delta Lake e Hudi);
- ✓Expertise em Redis para feature serving em baixa latência, incluindo estratégias de cache invalidation e serialização eficiente;
- ✓Experiência sólida com AWS e seus serviços de dados em produção (S3, Glue, EMR, Redshift, Athena).
- •Domínio de data lineage e catálogos de metadados (DataHub, OpenMetadata, Marquez) em produção
- •Experiência com Amazon EMR: configuração, otimização de clusters e tuning de jobs Spark
- •Expertise em práticas de MLOps com foco em versionamento e rastreabilidade de artefatos de dados
- •Atuação anterior em contexto financeiro com dados de alta cardinalidade, alta frequência e requisitos regulatórios
- •Conhecimento de ferramentas de qualidade de dados em escala (Great Expectations, Soda, dbt tests).
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
PUBLICIDADE