Tech Lead de Dados | IA Generativa
Publicada em
Ver 1.389 vagas de Data Science / Analytics →Descrição da Vaga
Buscamos um(a) Tech Lead de Dados, com perfil técnico e hands-on, para atuar na construção e evolução de soluções de Engenharia de Dados voltadas a produtos de Inteligência Artificial. O profissional será responsável pelo desenvolvimento de pipelines, integração de fontes, modelagem e disponibilização de dados para aplicações analíticas e serviços de IA Generativa, utilizando Databricks, PySpark, SQL, Delta Lake e Unity Catalog.
Responsabilidades
- Desenvolver e sustentar pipelines de ingestão, transformação e processamento de dados.
- Construir e evoluir estruturas nas camadas Landing, Bronze, Silver e Gold.
- Implementar pipelines utilizando PySpark, Spark SQL, Delta Lake e Databricks.
- Desenvolver integrações com bancos de dados, APIs, arquivos e serviços corporativos.
- Implementar orquestração de pipelines utilizando Databricks Workflows e Jobs.
- Preparar e disponibilizar dados para consumo por produtos analíticos e serviços de IA.
- Apoiar integrações com Genie e soluções de IA Generativa.
- Trabalhar com preparação, qualidade e versionamento de dados para modelos e serviços de IA.
- Apoiar a estruturação de dados, embeddings e índices utilizados por aplicações de IA.
- Desenvolver frameworks de ingestão, validações e automações reutilizáveis.
- Implementar controles de qualidade, rastreabilidade e observabilidade dos pipelines.
- Investigar incidentes, corrigir falhas e implementar melhorias técnicas.
- Aplicar práticas de Git, code review e CI/CD.
- Apoiar levantamentos técnicos, estimativas e decisões de implementação.
- Orientar tecnicamente a squad e disseminar boas práticas de Engenharia de Dados.
- Documentar pipelines, modelos, integrações e procedimentos técnicos.
Requisitos
- ✓Experiência sólida em Engenharia de Dados, com atuação técnica sênior.
- ✓Domínio de Databricks, Python, PySpark e SQL.
- ✓Experiência com Delta Lake e Unity Catalog.
- ✓Conhecimento em arquitetura Lakehouse e camadas Landing, Bronze, Silver e Gold.
- ✓Experiência com Databricks Workflows, Jobs e orquestração de pipelines.
- ✓Experiência com integração de dados via APIs, bancos de dados e arquivos.
- ✓Conhecimento em modelagem analítica e preparação de dados para consumo.
- ✓Experiência com Git, versionamento, code review e práticas de CI/CD.
- ✓Conhecimento em qualidade, governança e rastreabilidade de dados.
- ✓Familiaridade com IA Generativa e integração de dados com serviços de IA.
- ✓Capacidade de conduzir tecnicamente demandas complexas de ponta a ponta.
- •Experiência com Databricks Genie ou soluções similares de IA aplicada a dados.
- •Conhecimento em embeddings, índices vetoriais e preparação de dados para aplicações de IA Generativa.
- •Experiência com integrações Oracle/GoldenGate, SAP Open Hub e SQL Server.
- •Conhecimento em Microsoft Graph, SharePoint e Microsoft 365.
- •Experiência com desenvolvimento de frameworks reutilizáveis de ingestão.
- •Conhecimento em segurança e observabilidade de integrações.
- •Experiência anterior em produtos de dados e soluções de Inteligência Artificial.
- •Vivência como Tech Lead ou referência técnica em squads multidisciplinares.
Categorias
Sobre a Empresa
Mais vagas na Semantix →Fundada em 2010 no Brasil e com presença em Brasil, Argentina, Uruguai, Colômbia, Chile e México, a Semantix desenvolve soluções Data Driven para organizações que precisam estar sempre um passo à frente, utilizando o que existe de mais atual em tecnologia. Hoje, somos mais de 2.000 colaboradores.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
Vagas Relacionadas
Cientista de Dados Sênior
Stefanini Group
Analista de Dados Sênior - Web Analytics & Growth
Bernoulli Educação
Engenheiro(a) de Software Sênior | Java, AWS & Data
Marlabs
Engenheiro de Dados Sênior
Cadastra
Engenheiro de Dados PL/SR
Grupo SysMap
Senior Data Engineer (remote from Portugal or selected EU countries)
Grupo FCamara