AI Runtime & Inference Engineer - LLM Platforms

🌍 Remoto📍 Remoto

Descrição da Vaga

A Compass UOL está em busca de um(a) Engenheiro(a) de AI Runtime & Inference, especialista em plataformas LLM, para operar, otimizar e evoluir o runtime de agentes e a infraestrutura de inferência de LLMs em produção. Este profissional será responsável por definir e implementar arquiteturas de endpoints de modelo com foco em latência e disponibilidade, além de projetar e manter pipelines completos de observabilidade.

Responsabilidades

Operar, otimizar e evoluir o runtime de agentes e a infraestrutura de inferência de LLMs em produção.
Definir e implementar arquitetura de endpoints de modelo com foco em SLOs de latência e disponibilidade.
Projetar e manter pipelines completos de observabilidade: métricas, logs estruturados, traces distribuídos e alertas inteligentes.
Conduzir otimizações avançadas de performance: batching dinâmico, caching semântico, quantização e gestão de contexto.
Liderar resposta a incidentes e análises de causa raiz em falhas do ambiente de inferência.
Definir padrões de resiliência e estratégias de failover para workloads de LLM em produção.
Produzir runbooks, playbooks e documentação operacional de referência para o ambiente.

Requisitos

✓Expertise em operação de modelos de linguagem em produção com foco em performance e disponibilidade.
✓Domínio de frameworks de LLM serving em escala: vLLM, TGI (Text Generation Inference), Triton Inference Server ou equivalentes.
✓Experiência avançada com Kubernetes e gerenciamento de workloads de inferência com aceleradores.
✓Expertise em observabilidade em ambientes complexos: Prometheus, Grafana, OpenTelemetry e correlação de sinais.
✓Profundo conhecimento de AWS e seus serviços de ML (SageMaker Endpoints, Bedrock, EKS).
•Experiência com otimização avançada de modelos: quantização (GPTQ, AWQ), distilação e compilação para inferência.
•Conhecimento prático de GPUs e aceleradores (NVIDIA A100/H100) em contextos de produção.
•Experiência com caching semântico e estratégias avançadas de gestão de contexto para LLMs.
•Histórico de atuação em SRE ou engenharia de plataforma em ambientes de missão crítica.
•Experiência com arquiteturas multi-região e estratégias de disaster recovery para workloads de IA.

Categorias

DevOps

Sobre a Empresa

Mais vagas na Compass.UOL →

 A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]