Pessoa Analista de Teste - Sênior - (Remoto)

🌍 Remoto📍 Remoto

Descrição da Vaga

Estamos em busca de uma Pessoa Analista de Teste Sênior para impulsionar a inovação em nosso Instituto de Pesquisa e Desenvolvimento. O profissional será responsável por atuar com testes de API REST, CI/CD, GIT e linguagem SQL, além de se aprofundar em testes de agentes de IA Generativa, guardrails e segurança em aplicações de IA. O ambiente de trabalho é descontraído e colaborativo, focado no desenvolvimento e valorização das pessoas.

Responsabilidades

Realizar testes de API REST.
Atuar com CI/CD.
Utilizar GIT (GitHub, Gitlab, Bitbucket etc).
Trabalhar com linguagem SQL (Oracle, Postgres e MySql).
Realizar testes de agentes de IA Generativa.
Executar testes de guardrails.
Realizar testes de segurança em aplicações de IA.
Efetuar testes de agentes transacionais e informacionais.
Conduzir testes Manuais e Automatizados.
Escrever Cenários de Testes.
Elaborar relatórios executivos.
Realizar curadoria de testes e resultados.
Avaliar aplicações baseadas em LLMs e RAG com Ragas e/ou DeepEval.
Automatizar testes com PyTest.
Realizar testes de performance e benchmarking com PyTest-benchmark.
Conduzir testes de carga e performance com Locust.
Monitorar observabilidade de aplicações de IA com LangFuse e/ou Arize Phoenix.
Realizar testes de segurança, vulnerabilidades e robustez de aplicações de IA com Giskard.
Conduzir testes adversariais com TextAttack.
Monitorar métricas e performance com Prometheus e Grafana.

Requisitos

✓Graduação em andamento em Computação, Engenharia de Software, ou em áreas correlatas.
✓Sólida experiência em testes.
✓Experiência com Testes de API REST.
✓Experiência com CI/CD.
✓Conhecimento em GIT (GitHub, Gitlab, Bitbucket etc).
✓Conhecimento em Linguagem SQL (Oracle, Postgres e MySql).
✓Experiência com Testes de agentes de IA Generativa.
✓Experiência com Testes de guardrails.
✓Experiência com Testes de segurança em aplicações de IA.
✓Experiência com Testes de agentes transacionais e informacionais.
✓Experiência com Testes Manuais e Automatizados.
✓Experiência com Escrita de Cenários de Testes.
✓Experiência com Escrita de relatórios executivos.
✓Experiência com Curadoria de testes e resultados.
✓Experiência com Avaliação de aplicações baseadas em LLMs e RAG com Ragas e/ou DeepEval.
✓Experiência com Automação de testes com PyTest.
✓Experiência com Testes de performance e benchmarking com PyTest-benchmark.
✓Experiência com Testes de carga e performance com Locust.
✓Experiência com Observabilidade de aplicações de IA com LangFuse e/ou Arize Phoenix.
✓Experiência com Testes de segurança, vulnerabilidades e robustez de aplicações de IA com Giskard.
✓Experiência com Testes adversariais com TextAttack.
✓Conhecimento em Monitoramento de métricas e performance com Prometheus e Grafana.
✓Conhecimento em BDD e padrões como POM.
✓Conhecimento em Linguagem de scripting (Python).
•Conhecimento em Docker.
•Conhecimento em Computação em nuvem (preferencialmente AWS).
•Conhecimento em TDD e Testes unitários.
•Conhecimentos em LLMOps/MLOps.
•Conhecimentos em avaliação, observabilidade e segurança de aplicações baseadas em LLMs.
•Inglês intermediário.

Categorias

Programação QA

Sobre a Empresa

Mais vagas na Atlântico →

O Atlântico é uma Instituição de Ciência e Tecnologia (ICT), estruturada na forma de uma Associação Civil de Direito Privado, sem fins lucrativos, voltada para a promoção da Inovação através da Pesquisa e Desenvolvimento em TIC.[Ver Mais]