Pessoa Analista de Teste - Sênior

🌍 Remoto📍 Remoto

Descrição da Vaga

Estamos procurando um(a) Analista de Testes Sênior para impulsionar a inovação conosco. Somos um Instituto de Pesquisa e Desenvolvimento focado em transformar a vida das pessoas através de inovação e tecnologia, com um ambiente descontraído e colaborativo.

Responsabilidades

Realizar testes de API REST.
Atuar com CI/CD.
Utilizar GIT (GitHub, Gitlab, Bitbucket etc).
Trabalhar com linguagem SQL (Oracle, Postgres e MySql).
Realizar testes de agentes de IA Generativa.
Realizar testes de guardrails.
Realizar testes de segurança em aplicações de IA.
Realizar testes de agentes transacionais e informacionais.
Executar testes Manuais e Automatizados.
Escrever cenários de testes.
Escrever relatórios executivos.
Realizar curadoria de testes e resultados.
Avaliar aplicações baseadas em LLMs e RAG com Ragas e/ou DeepEval.
Automatizar testes com PyTest.
Realizar testes de performance e benchmarking com PyTest-benchmark.
Realizar testes de carga e performance com Locust.
Atuar com observabilidade de aplicações de IA com LangFuse e/ou Arize Phoenix.
Realizar testes de segurança, vulnerabilidades e robustez de aplicações de IA com Giskard.
Realizar testes adversariais com TextAttack.
Monitorar métricas e performance com Prometheus e Grafana.

Requisitos

✓Graduação em andamento em Computação, Engenharia de Software, ou em áreas correlatas.
✓Sólida experiência em testes.
✓Experiência em testes de API REST.
✓Experiência com CI/CD.
✓Experiência com GIT (GitHub, Gitlab, Bitbucket etc).
✓Conhecimento em linguagem SQL (podendo ter atuado com um dos seguintes bancos: Oracle, Postgres e MySql).
✓Experiência em testes de agentes de IA Generativa.
✓Experiência em testes de guardrails.
✓Experiência em testes de segurança em aplicações de IA.
✓Experiência em testes de agentes transacionais e informacionais.
✓Experiência em testes Manuais e Automatizados.
✓Experiência em escrita de Cenários de Testes.
✓Experiência em escrita de relatórios executivos.
✓Experiência em curadoria de testes e resultados.
✓Experiência em avaliação de aplicações baseadas em LLMs e RAG com Ragas e/ou DeepEval.
✓Experiência em automação de testes com PyTest.
✓Experiência em testes de performance e benchmarking com PyTest-benchmark.
✓Experiência em testes de carga e performance com Locust.
✓Experiência em observabilidade de aplicações de IA com LangFuse e/ou Arize Phoenix.
✓Experiência em testes de segurança, vulnerabilidades e robustez de aplicações de IA com Giskard.
✓Experiência em testes adversariais com TextAttack.
✓Experiência em monitoramento de métricas e performance com Prometheus e Grafana.
✓Conhecimento em BDD e padrões como POM.
✓Conhecimento em linguagem de scripting (Python).
•Conhecimento em Docker.
•Conhecimento em computação em nuvem (preferencialmente AWS).
•Conhecimento em TDD e Testes unitários.
•Conhecimentos em LLMOps/MLOps.
•Conhecimentos em avaliação, observabilidade e segurança de aplicações baseadas em LLMs.
•Inglês intermediário.

Categorias

Sobre a Empresa

Mais vagas na Atlântico →

O Atlântico é uma Instituição de Ciência e Tecnologia (ICT), estruturada na forma de uma Associação Civil de Direito Privado, sem fins lucrativos, voltada para a promoção da Inovação através da Pesquisa e Desenvolvimento em TIC.[Ver Mais]