Profissional Especialista em Avaliação e Infraestrutura de Testes de IA - Remoto

A Luby está em busca de um(a) Profissional Especialista em Avaliação e Infraestrutura de Testes de IA para atuar na interseção entre a plataforma de agentes e os produtos de IA. O profissional será responsável por tornar a qualidade dos sistemas de IA mensurável, repetível e acionável nas equipes de desenvolvimento do cliente, instrumentando o harness, projetando suítes de avaliação (evals), construindo pipelines de LLM-as-judge e instrumentando bases de código existentes com suítes de testes comportamentais, sensores de CI e empacotamento de SUT.

Responsabilidades

• Projetar e manter suítes de testes comportamentais (pares de goal + evals) para features de IA nas equipes de stream.
• Construir e manter pipelines de LLM-as-judge para scoring automatizado de qualidade: design de rubricas, seleção do modelo avaliador e calibração contra revisão humana como ground truth.
• Instrumentar bases de código existentes (sistemas EMR e afins) com suítes de testes comportamentais, sensores de CI e empacotamento de SUT.
• Manter a camada de infraestrutura de eval na plataforma de agentes: primitivas de harness, tagueamento de traces, UIs de revisão humana e dashboards de métricas de qualidade.
• Definir critérios de aceite para migrações de sistemas: specs de equivalência comportamental que garantem que os sistemas sucessores mantenham as invariantes do sistema estabelecido.
• Detectar e alertar sobre modos de falha específicos de IA: regressão de latência, esgotamento de janela de contexto, distribution shift e drift de acurácia.
• Ser responsável pela detecção de alucinação como categoria própria de eval: checagens de factualidade que verificam as saídas do agente contra fontes recuperadas, pipelines de comparação com ground truth e alertas quando o modelo afirma conteúdo não suportado pelo seu contexto.
• Apoiar as equipes de stream na configuração do AGENTS.md, no wiring dos workflows de CI e na criação da suíte inicial de sensores.
• Manter o pipeline de amostragem de revisão humana: definir taxas de amostragem, fluxos de revisão e o loop de feedback dos scores de volta para a calibração das suítes de eval.