PUBLICIDADE
Descrição da Vaga
No Grupo Stefanini, buscamos um Curador de IA para garantir que as soluções baseadas em inteligência artificial entreguem respostas corretas, relevantes, seguras, éticas, consistentes e alinhadas ao contexto de negócio e políticas da empresa, proporcionando uma boa experiência ao usuário e minimizando riscos como alucinação, viés e exposição de dados.
Responsabilidades
- Analisar e avaliar respostas geradas por diferentes modelos de IA, verificando precisão, clareza, completude, relevância e aderência ao contexto.
- Identificar alucinações, contradições, vieses e informações sem evidência nas respostas da IA.
- Verificar a compreensão da intenção do usuário pela IA e a aderência às instruções e critérios de negócio.
- Classificar respostas conforme critérios definidos e comparar diferentes modelos, prompts e configurações.
- Definir métricas de qualidade e criar rubricas com critérios objetivos e escalas de pontuação.
- Estabelecer exemplos de respostas boas, aceitáveis e inadequadas, e criar conjuntos de testes e cenários adversariais.
- Selecionar e organizar exemplos para treinamento, avaliação e melhoria de prompts, revisando bases de conhecimento da IA.
- Identificar e remover dados desatualizados, duplicados, incompletos, conflitantes, sensíveis ou inadequados.
- Criar, revisar e otimizar prompts, definindo instruções de sistema, contextos, restrições e formatos de resposta.
- Testar técnicas de prompt engineering e avaliar o impacto das mudanças nos prompts.
- Realizar testes de segurança, como prompt injection e jailbreak, avaliando a exposição indevida de dados confidenciais.
- Testar respostas para temas sensíveis e identificar riscos de viés, discriminação e tratamento desigual.
- Acompanhar o comportamento da IA em produção, analisando feedbacks e identificando degradação de desempenho.
- Monitorar indicadores de erro, abandono, retrabalho e escalonamento humano, investigando incidentes.
- Documentar critérios, decisões, testes e resultados, elaborando relatórios de qualidade dos modelos.
- Manter um catálogo de prompts, versões e casos de uso, registrando limitações conhecidas da IA.
- Orientar curadores, analistas e prompt engineers menos experientes, revisando avaliações e definindo padrões.
- Conduzir workshops de avaliação de IA e apoiar decisões sobre modelos, fornecedores e arquiteturas.
PUBLICIDADE
Requisitos
- ✓Experiência com modelos de linguagem e IA generativa
- ✓Conhecimento em prompt engineering
- ✓Experiência com avaliação humana e automática de modelos
- ✓Criação de datasets de teste
- ✓Conhecimento de métricas de qualidade de IA
- ✓Noções de machine learning e processamento de linguagem natural
- ✓Familiaridade com RAG, Embeddings, Agentes e Bases de conhecimento
- ✓Conhecimento de técnicas de segurança para LLMs
- ✓Capacidade de análise de dados
- ✓Conhecimentos em SQL
- •Conhecimentos em Python
- ✓Experiência com ferramentas de anotação, avaliação e observabilidade de IA
- ✓Conhecimento de versionamento e documentação
- ✓Noções de LGPD, privacidade e uso responsável de IA
Benefícios
- ✓Vale-alimentação ou vale-refeição
- ✓Desconto em cursos, universidades e instituições de idiomas
- ✓Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado
- ✓Mentoring
- ✓Clube de vantagens para consultas e exames
- ✓Assistência médica
- ✓Assistência odontológica
- ✓Clube de vantagens e descontos nos melhores estabelecimentos
- ✓Clube de viagens
- ✓Convênio para pets
Categorias
Sobre a Empresa
Mais vagas na Stefanini Group →Entregamos soluções digitais inovadoras e eficazes, que auxiliam os nossos clientes em suas jornadas digitais, sempre aplicando o nosso propósito de tornar a tecnologia um agente de mudança para um mundo melhor.
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
PUBLICIDADE