Pessoa Analista de Testes - Pleno - (Remoto)

🌍 Remoto📍 Remoto

Descrição da Vaga

Estamos em busca de uma Pessoa Analista de Testes Pleno para impulsionar a inovação em um Instituto de Pesquisa e Desenvolvimento. O profissional atuará com testes de API REST, CI/CD, GIT e linguagem SQL, com foco em testes de agentes de IA Generativa, guardrails e segurança em aplicações de IA.

Responsabilidades

Realizar testes manuais e automatizados.
Escrever cenários de testes.
Elaborar relatórios executivos.
Realizar curadoria de testes e resultados.
Avaliar aplicações baseadas em LLMs e RAG com Ragas e/ou DeepEval.
Automatizar testes com PyTest.
Realizar testes de performance e benchmarking com PyTest-benchmark.
Executar testes de carga e performance com Locust.
Monitorar observabilidade de aplicações de IA com LangFuse e/ou Arize Phoenix.
Realizar testes de segurança, vulnerabilidades e robustez de aplicações de IA com Giskard.
Conduzir testes adversariais com TextAttack.
Monitorar métricas e performance com Prometheus e Grafana.

Requisitos

✓Graduação em andamento em Computação, Engenharia de Software, ou em áreas correlatas.
✓Sólida experiência em testes.
✓Experiência em testes de API REST.
✓Experiência com CI/CD.
✓Conhecimento em GIT (GitHub, Gitlab, Bitbucket etc).
✓Experiência com linguagem SQL (Oracle, Postgres e MySql).
✓Experiência em testes de agentes de IA Generativa.
✓Experiência em testes de guardrails.
✓Experiência em testes de segurança em aplicações de IA.
✓Experiência em testes de agentes transacionais e informacionais.
✓Experiência em testes manuais e automatizados.
✓Experiência em escrita de cenários de testes.
✓Experiência em escrita de relatórios executivos.
✓Experiência em curadoria de testes e resultados.
✓Experiência em avaliação de aplicações baseadas em LLMs e RAG com Ragas e/ou DeepEval.
✓Experiência em automação de testes com PyTest.
✓Experiência em testes de performance e benchmarking com PyTest-benchmark.
✓Experiência em testes de carga e performance com Locust.
✓Experiência em observabilidade de aplicações de IA com LangFuse e/ou Arize Phoenix.
✓Experiência em testes de segurança, vulnerabilidades e robustez de aplicações de IA com Giskard.
✓Experiência em testes adversariais com TextAttack.
✓Experiência em monitoramento de métricas e performance com Prometheus e Grafana.
✓Conhecimento em BDD e padrões como POM.
✓Conhecimento em linguagem de scripting (Python).
•Conhecimentos em Docker.
•Conhecimentos em computação em nuvem (preferencialmente AWS).
•Conhecimentos em TDD e testes unitários.
•Conhecimentos em LLMOps/MLOps.
•Conhecimentos em avaliação, observabilidade e segurança de aplicações baseadas em LLMs.
•Inglês intermediário.

Categorias

Sobre a Empresa

Mais vagas na Atlântico →

O Atlântico é uma Instituição de Ciência e Tecnologia (ICT), estruturada na forma de uma Associação Civil de Direito Privado, sem fins lucrativos, voltada para a promoção da Inovação através da Pesquisa e Desenvolvimento em TIC.[Ver Mais]