PUBLICIDADE
Descrição da Vaga
Buscamos um(a) Tech Lead de Dados com perfil sênior e hands-on para atuar na construção e sustentação da camada de dados de um produto de Inteligência Artificial de um grande grupo de infraestrutura de mobilidade. O desafio envolve desenvolver pipelines, preparar dados para serviços de IA generativa e integrar dados a serviços e APIs, garantindo qualidade, segurança e governança.
Responsabilidades
- Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia.
- Construir e sustentar pipelines em PySpark e SQL no Databricks.
- Trabalhar com arquitetura medallion, Delta Lake, Unity Catalog e Databricks Workflows.
- Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento.
- Integrar dados aos serviços de IA e ao Databricks Genie.
- Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade.
- Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas.
- Desenvolver frameworks reutilizáveis e validações de qualidade.
- Aplicar práticas de versionamento, CI/CD, testes e code review.
- Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais.
- Documentar pipelines e decisões técnicas.
- Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas.
- Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados.
PUBLICIDADE
Requisitos
- ✓Experiência sólida em engenharia de dados e atuação como referência técnica de squad
- ✓Experiência com Databricks, PySpark e Spark SQL em ambiente produtivo
- ✓Conhecimento em arquitetura medallion: landing, bronze, silver e gold
- ✓Experiência com Delta Lake, Unity Catalog e Databricks Workflows
- ✓Experiência em engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento
- ✓Experiência em integração de dados via APIs e serviços, com segurança e observabilidade
- ✓Conhecimento em modelagem de dados analíticos nas camadas silver e gold
- ✓Experiência com Git, CI/CD, code review, testes e validações de qualidade
- ✓Experiência em times ágeis de produto e entregas incrementais
- ✓Boa comunicação com áreas técnicas e de negócio
- ✓Formação em TI ou áreas correlatas
- •Conhecimento em Databricks Genie e padrões corporativos de uso de IA generativa
- •Conhecimento em governança de dados aplicada à IA e LGPD, incluindo classificação, anonimização, linhagem e controle de acesso
- •Experiência com Oracle com replicação via Golden Gate/CDC
- •Experiência em extração de dados do SAP via Open Hub
- •Conhecimento em SQL Server e Microsoft Graph (SharePoint/M365)
- •Conhecimento em Power BI
- •Conhecimento em gestão de credenciais com identidades de serviço e cofres de segredos
- •Conhecimento em documentação técnica no Confluence
Benefícios
- ✓Vale-alimentação e/ou vale-refeição
- ✓Plano de saúde
- ✓Plano odontológico
- ✓Plano de saúde para o seu pet
- ✓Auxílio home office
- ✓Kit de boas-vindas no onboarding
- ✓Seguro de vida
- ✓Zenklub, com acompanhamento psicológico e nutricional
- ✓TotalPass
- ✓Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce)
- ✓Parcerias e descontos para o seu desenvolvimento
- ✓Acesso ao conteúdo UOL
- ✓Kit maternidade
- ✓Licença maternidade e paternidade estendidas
- ✓Programa de indicações
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
Administrador de Dados
Certsys
🏢
Analista de Dados SR
Grupo SysMap
Analista de Negócios Operações Logísticas Sr
iFood
Engenheiro de IA SR
Insi
Engenheiro de Dados e Plataforma de Agentes Sênior (GCP)
Leega Consultoria
🏢
MLOps Engineer Sênior
Asaas