Engenheiro de Dados AWS

🌍 Remoto📍 Remoto

Descrição da Vaga

O Engenheiro de Dados Sênior na Dataside atua como liderança técnica em projetos, apoiando o Tech Lead e contribuindo para o desenvolvimento da equipe e disseminação de conhecimento. Possui autonomia para decisões técnicas de ponta a ponta, garantindo entregas alinhadas às necessidades do cliente. Além disso, realiza mentorias, revisões criteriosas e impulsiona a evolução técnica da empresa. Com uma visão estratégica sobre o valor dos dados, conecta suas entregas ao impacto nos negócios, atuando como parceiro consultivo.

Responsabilidades

Ser engenheiro principal em contratos e conduzir decisões técnicas de forma autônoma.
Apoiar o Tech Lead na liderança técnica e estratégica dos projetos.
Realizar revisões técnicas aprofundadas e mentorias com o time.
Propor arquiteturas batch e streaming com visão de escalabilidade, eficiência e alinhamento ao negócio.
Construir planos de melhoria de performance e redução de custo.
Diagnosticar gargalos técnicos e operacionais e propor soluções sustentáveis.
Comunicar soluções de forma clara para diferentes níveis (negócio, técnico, gestão).
Trabalhar com múltiplas integrações, altos volumes de dados e demandas críticas de performance.

Requisitos

✓Experiência sólida em projetos de engenharia de dados de altíssima complexidade.
✓Capacidade de atuar em contextos sem experiência prévia com a stack, aprendendo com rapidez.
✓Forte domínio de Spark (avançado) e Python com boas práticas de engenharia de software (modelo SOLID).
✓SQL avançado, com tuning e leitura de planos de execução.
✓Experiência com integração via APIs RESTful e sistemas distribuídos.
✓Domínio da stack analítica da AWS, incluindo: S3, Athena, Redshift, Glue, EMR, Kinesis, Lambda, Step Functions, Lake Formation, Secrets Manager, CloudWatch, SNS, Cost Explorer, Glue DataBrew, Amazon Macie.
✓Vivência com Databricks, incluindo: Gerenciamento de clusters e políticas, Unity Catalog (lineage, controle de acesso, versionamento), SQL Warehouse, Workflows, Delta Live Tables (DLT).
✓Conhecimento de técnicas variadas de modelagem de dados: Data Vault, modelagem dimensional, pipelines orientados a eventos.
✓Conhecimento em bancos NoSQL como DynamoDB, MongoDB e Cassandra.
✓Domínio em dimensionamento de clusters, computação distribuída e análise de custo detalhado.
✓Spark (avançado), com domínio de Catalyst Optimizer, persistência, broadcast joins, caching e bucketing.
✓Python com padrões SOLID e reutilização de componentes.
✓SQL avançado com tuning, particionamento, otimização de planos de execução.
✓Consumo e integração via APIs RESTful.
✓Databricks (avançado): Unity Catalog, SQL Warehouse, Workflows, DLT, Pools e configuração de clusters.
✓AWS Analytics Stack: S3, Athena, Glue, EMR, Redshift, Kinesis, Lambda, Step Functions, Lake Formation, Glue DataBrew, Macie, CloudWatch, SNS, Cost Explorer.
✓Amazon Redshift (nível avançado): Otimização com sort keys, compressão, vacuum tuning, WLM avançado, SVL/SVV logs, Redshift Spectrum, arquitetura híbrida com S3.
✓Modelagem de dados: Data Vault, 3NF, Dimensional, pipelines event-driven.
✓Bancos NoSQL (DynamoDB, MongoDB).
✓CI/CD com Git, GitHub Actions ou GitLab CI.
✓Conceito de testes unitários aplicados à pipelines de dados.
✓Frameworks e práticas de observabilidade e qualidade de dados: Great Expectations, Airflow, Prometheus, Grafana.
✓Criação de soluções reutilizáveis e componíveis, com foco em Data Products e estratégias Data Mesh.
✓Avaliação e planejamento de custo em nuvem: uso de Cost Explorer, dimensionamento com AWS Pricing Calculator.
✓Liderança técnica e influência estratégica.
✓Capacidade de “aprender a aprender”.
✓Clareza e profundidade na comunicação com áreas técnicas e de negócio.
✓Postura consultiva, com escuta ativa e proatividade.
✓Espírito de colaboração, mentoria e formação de equipe.
✓Organização, foco em entrega e alto senso de responsabilidade.
✓Inglês intermediário.
•Certificação AWS Data Engineer Associate.
•Certificação AWS Solutions Architect Associate.
•Certificação AWS Certified Data Analytics Specialty.
•Certificação AWS Solutions Architect – Professional.
•Certificação Databricks Certified Professional Data Engineer.

Benefícios

✓Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
✓Wellhub, para manter corpo e mente ativos.
✓Terapia online 100% custeada pela empresa.
✓Atendimento em nutrição online, com até 2 consultas mensais.
✓Seguro de vida com apólice no valor de R$ 125 mil.
✓Day off no aniversário.
✓Descanso remunerado.
✓Gamificação interna, transformando conquistas em prêmios e reconhecimento.
✓Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet.
✓Bônus por certificação técnica.
✓Aulas de inglês gratuitas.

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Dataside →

A missão da Dataside é acompanhar as empresas na jornada de dados, aumentando a confiabilidade e agilidade na tomada de decisão orientada a dados e IA.    Advanced Analytics & AI Criamos soluções envolvendo Engenharia de Dados, Machine Learning e IA.[Ver Mais]