Analista IA Langfuse

Apoiar a frente de IA Responsável, do COE IA na operação e evolução da esteira de declaração, avaliação, aprovação e monitoramento de casos de uso de IA (modelos de ML, IA generativa e agentes).

Responsabilidades

• Revisar formulários de declaração de casos de uso (IA by Design), apoiar Champions e Tradutores, identificar lacunas e tracionar os casos junto às áreas.
• Conduzir reuniões técnicas com Negócio, Tech Dados & IA, Arquitetura, Segurança da Informação, Jurídico e fornecedores.
• Classificar casos de uso em N1, N2 e N3 e aplicar a matriz de risco, avaliando autonomia, uso de dados pessoais, exposição ao cliente, impacto financeiro, explicabilidade e HITL (intervenção humana).
• Manter o inventário de modelos e agentes (owner, finalidade, nível de risco e status), a documentação e o controle de evidências para auditoria.
• Preparar materiais para comitês (Comitê de Alto Risco e Comitê de Monitoramento IA), consolidar pareceres e controlar planos de ação.
• Operar o Langfuse como camada corporativa de observabilidade dos agentes: traces, sessions, tags, scores, evaluations, datasets, experiments e Prompt Management.
• Definir e manter a convenção de tags por agente, subagente e intenção, garantindo filtros sem mistura entre agentes.
• Implementar e acompanhar evaluators (LLM-as-a-Judge) das métricas M01 Acurácia, M06 Completude, M10 Guardrails e M11 LGPD, definindo execução síncrona, assíncrona ou batch e faixas de interpretação (aceitável, atenção, crítico) com alertas.
• Garantir a rastreabilidade agente → versão do prompt → intenção → avaliação, com cadastro dos prompts no Prompt Management.
• Construir e manter dashboards nos 4 pilares: Observabilidade (volume, latência, erro), Qualidade, Rastreabilidade e FinOps (tokens, custo por interação, baseline, realizado x estimado e projeção anual).
• Apoiar a integração de plataformas ao painel único (gateway LiteLLM, OpenTelemetry, LangChain/LangGraph, LangFlow, CrewAI) e validar a exportação de logs/KPIs de plataformas SaaS (Agentforce, Wonderful, Copilot Studio).
• Conectar os indicadores ao inventário do IAbD e ao Comitê de Monitoramento IA apoiando também o monitoramento de modelos de ML (KS, Lift, drift).