Engenheiro de Dados AWS Sênior

Descrição da Vaga

Requisitos

• ✓Experiência com o ecossistema Databricks, incluindo suas principais funcionalidades, recursos e possibilidades de aplicação.
• ✓Experiência prática com Terraform e Infraestrutura como Código (IaC) para provisionamento de recursos na AWS.
• ✓Conhecimento em AWS, especialmente IAM, policies, roles, permissões e segurança em nuvem, além de EC2, computação em nuvem e sua aplicação em pipelines de dados.
• ✓Conhecimento em monitoramento, mensuração e otimização de custos de infraestrutura AWS.
• ✓Experiência com Apache Airflow para orquestração e arquitetura de pipelines de dados.
• ✓Domínio avançado de Python, com foco em orientação a objetos (OOP), Clean Code, legibilidade e manutenibilidade.
• ✓Experiência com LLMs e aplicações agênticas, incluindo o uso de Code Agents para otimização e automação de fluxos de trabalho.
• ✓Conhecimento em governança e ciclo de vida dos dados, incluindo ingestão, qualidade, limpeza, conformidade e consumo.
• ✓Sólida visão arquitetural de dados, com conhecimento de padrões, escalabilidade e construção de soluções eficientes.
• ✓Experiência com documentação técnica e definição de padrões para plataformas self-service.
• ✓Comunicação clara, objetiva e assertiva, com capacidade de traduzir decisões técnicas para diferentes públicos, gerenciar stakeholders e alinhar expectativas.
• ✓Autonomia e proatividade na condução de demandas, resolução de problemas e tomada de decisões.
• ✓Capacidade analítica e senso crítico construtivo para identificar gargalos e propor melhorias, com foco em eficiência operacional, escalabilidade e redução de custos e retrabalho.
• ✓Mentalidade de plataforma como produto, considerando a experiência dos usuários internos e a evolução contínua das soluções.
• ✓Visão sistêmica e alinhamento das soluções de dados aos objetivos e às necessidades do negócio.
• ✓Conhecimento avançado em Spark, com domínio de Catalyst Optimizer, persistência, broadcast joins, caching e bucketing.
• ✓Conhecimento em Python com padrões SOLID e reutilização de componentes.
• ✓Conhecimento avançado em SQL com tuning, particionamento, otimização de planos de execução.
• ✓Experiência com consumo e integração via APIs RESTful.
• ✓Conhecimento avançado em Databricks: Unity Catalog, SQL Warehouse, Workflows, DLT, Pools e configuração de clusters.
• ✓Conhecimento em AWS Analytics Stack: S3, Athena, Glue, EMR, Redshift, Kinesis, Lambda, Step Functions, Lake Formation, Glue DataBrew, Macie, CloudWatch, SNS, Cost Explorer.
• ✓Conhecimento avançado em Amazon Redshift: Otimização com sort keys, compressão, vacuum tuning, WLM avançado, SVL/SVV logs, Redshift Spectrum, arquitetura híbrida com S3.
• ✓Conhecimento em Modelagem de dados: Data Vault, 3NF, Dimensional, pipelines event-driven.
• ✓Conhecimento em Bancos NoSQL (DynamoDB, MongoDB).
• ✓Conhecimento em CI/CD com Git, GitHub Actions ou GitLab CI.
• ✓Conceito de testes unitários aplicados à pipelines de dados.
• ✓Conhecimento em Frameworks e práticas de observabilidade e qualidade de dados: Great Expectations, Airflow, Prometheus, Grafana.
• ✓Criação de soluções reutilizáveis e componíveis, com foco em Data Products e estratégias Data Mesh.
• ✓Avaliação e planejamento de custo em nuvem: uso de Cost Explorer, dimensionamento com AWS Pricing Calculator.
• ✓Liderança técnica e influência estratégica.
• ✓Capacidade de “aprender a aprender”.
• ✓Clareza e profundidade na comunicação com áreas técnicas e de negócio.
• ✓Postura consultiva, com escuta ativa e proatividade.
• ✓Espírito de colaboração, mentoria e formação de equipe.
• ✓Organização, foco em entrega e alto senso de responsabilidade.
• ✓Inglês intermediário.
• •Certificação AWS Data Engineer Associate.
• •Certificação AWS Solutions Architect Associate.
• •Certificação AWS Certified Data Analytics Specialty.
• •Certificação AWS Solutions Architect – Professional.
• •Certificação Databricks Certified Professional Data Engineer.

Benefícios

• ✓Auxílio médico (ajuda de custo mensal para apoiar na contratação do seu plano de saúde).
• ✓Wellhub.
• ✓Terapia online (100% custeada pela empresa).
• ✓Atendimento em nutrição online (até 2 consultas mensais).
• ✓Seguro de vida com apólice no valor de R$ 125 mil.
• ✓Day off no aniversário.
• ✓Descanso remunerado.
• ✓Gamificação interna.
• ✓Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet.
• ✓Bônus por certificação técnica.

Sobre a Empresa

Mais vagas na Dataside →

A missão da Dataside é acompanhar as empresas na jornada de dados, aumentando a confiabilidade e agilidade na tomada de decisão orientada a dados e IA.    Advanced Analytics & AI Criamos soluções envolvendo Engenharia de Dados, Machine Learning e IA.[Ver Mais]

Informações Adicionais

Você será redirecionado para o site da empresa