Descrição da Vaga
Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar como referência técnica em projetos, apoiando o Tech Lead e contribuindo para o desenvolvimento da equipe através da disseminação de conhecimento e boas práticas. Este profissional terá autonomia para conduzir decisões técnicas de ponta a ponta, garantindo entregas de qualidade alinhadas às necessidades do cliente. Valorizamos uma visão estratégica sobre o uso e o valor dos dados, conectando soluções técnicas aos resultados e objetivos de negócio, com uma postura consultiva para gerar insights e fortalecer o relacionamento com os clientes.
Responsabilidades
- Ser engenheiro(a) principal em contratos e conduzir decisões técnicas de forma autônoma.
- Apoiar o(a) Tech Lead na liderança técnica e estratégica dos projetos.
- Realizar revisões técnicas aprofundadas e mentorias com o time.
- Propor arquiteturas batch e streaming com visão de escalabilidade, eficiência e alinhamento ao negócio.
- Construir planos de melhoria de performance e redução de custo.
- Diagnosticar gargalos técnicos e operacionais e propor soluções sustentáveis.
- Comunicar soluções de forma clara para diferentes níveis (negócio, técnico, gestão).
- Trabalhar com múltiplas integrações, altos volumes de dados e demandas críticas de performance.
Requisitos
- ✓Conhecimento avançado em Spark, com domínio de Catalyst Optimizer, persistência, broadcast joins, caching e bucketing.
- ✓Conhecimento em Python com padrões SOLID e reutilização de componentes.
- ✓Conhecimento avançado em SQL com tuning, particionamento, otimização de planos de execução.
- ✓Experiência com consumo e integração via APIs RESTful.
- ✓Conhecimento avançado em Databricks: Unity Catalog, SQL Warehouse, Workflows, DLT, Pools e configuração de clusters.
- ✓Experiência com AWS Analytics Stack: S3, Athena, Glue, EMR, Redshift, Kinesis, Lambda, Step Functions, Lake Formation, Glue DataBrew, Macie, CloudWatch, SNS, Cost Explorer.
- ✓Conhecimento avançado em Amazon Redshift: Otimização com sort keys, compressão, vacuum tuning, WLM avançado, SVL/SVV logs, Redshift Spectrum, arquitetura híbrida com S3.
- ✓Experiência com modelagem de dados: Data Vault, 3NF, Dimensional, pipelines event-driven.
- ✓Conhecimento em Bancos NoSQL (DynamoDB, MongoDB).
- ✓Experiência com CI/CD com Git, GitHub Actions ou GitLab CI.
- ✓Conceito de testes unitários aplicados à pipelines de dados.
- ✓Experiência com Frameworks e práticas de observabilidade e qualidade de dados: Great Expectations, Airflow, Prometheus, Grafana.
- ✓Criação de soluções reutilizáveis e componíveis, com foco em Data Products e estratégias Data Mesh.
- ✓Avaliação e planejamento de custo em nuvem: uso de Cost Explorer, dimensionamento com AWS Pricing Calcul.
- •Certificação AWS Certified Data Analytics Specialty.
- •Certificação AWS Solutions Architect – Professional.
- •Certificação Databricks Certified Professional Data Engineer.
- •Inglês intermediário.
- •Certificação AWS Data Engineer Associate.
- •Certificação AWS Solutions Architect Associate.
Benefícios
- ✓Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
- ✓Wellhub.
- ✓Terapia online 100% custeada pela empresa.
- ✓Atendimento em nutrição online, com até 2 consultas mensais.
- ✓Seguro de vida com apólice no valor de R$ 125 mil.
- ✓Day off no aniversário.
- ✓Descanso remunerado.
- ✓Gamificação interna.
- ✓Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet.
- ✓Bônus por certificação técnica.
- ✓Aulas de inglês gratuitas.
Categorias
Sobre a Empresa
Mais vagas na Dataside →A missão da Dataside é acompanhar as empresas na jornada de dados, aumentando a confiabilidade e agilidade na tomada de decisão orientada a dados e IA. Advanced Analytics & AI Criamos soluções envolvendo Engenharia de Dados, Machine Learning e IA.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
