Engenheiro de Dados e Plataforma de Agentes Sênior (GCP)
Publicada em
Ver 1.493 vagas de Data Science / Analytics →🌍 Remoto📍 Remoto
PUBLICIDADE
Descrição da Vaga
A Leega busca um Engenheiro de Dados e Plataforma de Agentes Sênior com foco em GCP para atuar na construção e manutenção de pipelines de ingestão, transformação e qualidade de dados em batch e streaming, utilizando tecnologias como BigQuery, Dataflow, Dataproc, Pub/Sub e Cloud Storage. O profissional será responsável por modelar e organizar o Data Lake/Lakehouse, definir contratos de dados, preparar dados para IA, garantir conformidade com a LGPD e disponibilizar dados e sistemas internos para agentes de IA.
Responsabilidades
- Construir e manter pipelines de ingestão, transformação e qualidade de dados em batch e streaming com BigQuery, Dataflow, Dataproc, Pub/Sub e Cloud Storage.
- Modelar e organizar o Data Lake/Lakehouse em BigQuery e BigLake, com camadas, particionamento e otimização de custo e performance.
- Definir contratos de dados (schemas, freshness e SLAs) e monitorar a qualidade e a linhagem das fontes.
- Preparar dados para IA: limpeza, anonimização, chunking e geração de embeddings para Vertex AI RAG Engine, Vertex AI Search e vector stores.
- Garantir conformidade com a LGPD no tratamento de dados sensíveis de saúde, aplicando mascaramento, anonimização (Sensitive Data Protection), policy tags e residência de dados antes que esses dados cheguem aos ambientes de IA.
- Desenhar acesso a dados entre projetos (Cloud IAM, Dataplex, BigLake, Analytics Hub) evitando cópias, com menor privilégio e trilha de auditoria.
- Disponibilizar dados e sistemas internos como ferramentas para agentes via servidores MCP e MCP Toolbox, apoiando o time de IA na integração com Vertex AI Agent Engine e Agent Development Kit (ADK).
- Manter pipelines de MLOps/LLMOps com Vertex AI Pipelines, incluindo avaliação, guardrails (Model Armor) e monitoramento de drift e qualidade das respostas.
- Provisionar a infraestrutura de dados e IA como código com Terraform e CI/CD, e acompanhar custos por área, projeto e modelo (FinOps) com billing export para BigQuery e labels.
- Implementar observabilidade ponta a ponta (OpenTelemetry, Cloud Logging, Cloud Monitoring, Cloud Trace) e apoiar estratégias de resiliência e disaster recovery.
PUBLICIDADE
Requisitos
- ✓Domínio de Python e SQL.
- ✓Experiência sólida em engenharia de dados no GCP: BigQuery, Cloud Storage, Dataflow ou Dataproc e Pub/Sub.
- ✓Experiência com orquestração de pipelines (Cloud Composer/Airflow, Cloud Workflows ou similares).
- ✓Conhecimento em governança e segurança de dados no GCP: Cloud IAM, Dataplex, policy tags e Cloud KMS.
- ✓Terraform e CI/CD (Cloud Build, GitHub Actions ou similares).
- ✓Experiência prática em ambientes GCP com múltiplos projetos, organização e folders.
- ✓Vivência com sistemas distribuídos e orientados a eventos (filas, retries, idempotência e consistência).
- ✓Experiência preparando dados para ao menos uma aplicação com LLM em produção (RAG ou agentes com uso de ferramentas).
- ✓Conhecimento de LGPD aplicada a dados sensíveis, incluindo técnicas de anonimização e mascaramento.
- •Conhecimento em Vertex AI (RAG Engine, Vertex AI Search, Agent Engine, Pipelines), Gemini e Model Armor.
- •Conhecimento em Frameworks de agentes (ADK, LangChain, LangGraph, CrewAI) e desenvolvimento de servidores MCP.
- •Conhecimento em Vector stores (Vertex AI Vector Search, AlloyDB com pgvector, BigQuery Vector Search); GraphRAG é um plus.
- •Experiência no setor de saúde ou com padrões de dados clínicos (HL7, FHIR, Cloud Healthcare API).
- •Conhecimento em Data Mesh, arquitetura hub-and-spoke e FinOps no GCP.
- •Certificação Google Cloud Professional Data Engineer, Professional Machine Learning Engineer ou FinOps Certified Practitioner.
- ✓Comunicação clara com cientistas de dados, times de IA, áreas de negócio e parceiros externos.
- ✓Disciplina de segurança e ética no tratamento de dados sensíveis de pacientes, especialmente quando consumidos por agentes autônomos.
- ✓Capacidade de explicitar trade-offs técnicos (cópia de dados vs. acesso entre projetos, batch vs. streaming, custo vs. latência).
- ✓Hábito de documentar e atribuir ownership de pipelines, fontes de dados e ferramentas entre os times.
Benefícios
- ✓Convênio Médico Porto Seguro
- ✓Convênio Odontológico Porto Seguro
- ✓Participação nos Lucros e Resultados (PLR)
- ✓Auxílio Creche
- ✓Vale Alimentação e Refeição Alelo
- ✓Auxílio Home Office
- ✓Parcerias com Instituições de Ensino
- ✓Incentivo para Certificações, inclusive em Cloud (GCP, Azure, AWS)
- ✓Pontos Livelo
- ✓Total Pass
- ✓Mindself
Categorias
Sobre a Empresa
Mais vagas na Leega Consultoria →Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo,...[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
Engenheiro de IA SR
Insi
🏢
MLOps Engineer Sênior
Asaas
Data Engineer (Databricks) | SR
Compass.UOL
Analytics Engineer Sênior
Stefanini Group
Analytics Engineer Sênior
Omie
Bling I Engenheiro de Dados Sênior (Foco Machine Learning e IA) I Remoto
Geekhunter