Data Engineer (Databricks) | Specialist

A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Especialista com foco em Databricks para atuar na construção e manutenção de pipelines de dados escaláveis e confiáveis. O profissional será responsável por utilizar tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance, além de organizar tabelas em Delta Lake e Unity Catalog.

Responsabilidades

• Construir e manter pipelines de dados escaláveis e confiáveis.
• Utilizar tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance.
• Organizar tabelas em Delta Lake e Unity Catalog.
• Implementar uma esteira automatizada de MLOps nativa em Databricks on GCP, cobrindo o ciclo de vida completo dos modelos.
• Realizar preparação de dados, geração de features, treinamento, validação, registro, deploy, serving, monitoramento e retreino automático.
• Atuar desde o discovery técnico com inventário dos modelos existentes, até a construção de um template padrão de pipeline validado em um piloto e migração progressiva dos modelos em ondas organizadas por criticidade.
• Atuar no modelo ágil, com sprints, rituais de refinamento, review e retrospectiva.