Engenheiro de Dados Sênior
Publicada em
Ver 1.637 vagas de Data Science / Analytics →Descrição da Vaga
A HW Publishing busca um Engenheiro de Dados Sênior para projetar, construir e evoluir a arquitetura da plataforma de dados, disponibilizando dados confiáveis e em tempo real para dashboards, análises operacionais e inteligência de negócio. O profissional atuará em conjunto com Produto, Engenharia e áreas de negócio na definição de requisitos e indicadores, preparando também a base para futuras iniciativas de Machine Learning.
Responsabilidades
- Projetar e evoluir a arquitetura da plataforma de dados.
- Desenvolver e manter pipelines de ETL/ELT, com extração de APIs, carga incremental e CDC.
- Modelar dados para Data Warehouse, Data Lake e Data Marts, com modelagem dimensional.
- Implementar processamento em batch e streaming, com arquitetura orientada a eventos.
- Garantir performance e confiabilidade dos bancos de dados.
- Estruturar práticas de Data Quality, Data Lineage, Data Catalog e Data Governance.
- Orquestrar pipelines e tratar dados históricos com versionamento e rastreabilidade.
- Implementar observabilidade dos pipelines: logs, métricas, monitoramento e alertas.
- Automatizar processos e deploys com GitHub Actions e Docker.
Requisitos
- ✓Conhecimento avançado em Python e SQL.
- ✓Experiência com PostgreSQL e MySQL: modelagem relacional, índices, particionamento, otimização de consultas e replicação.
- ✓Experiência com modelagem de dados: Data Warehouse, Data Lake, Data Marts, Star Schema, Snowflake Schema, normalização e desnormalização.
- ✓Experiência na construção de pipelines ETL/ELT, extração de APIs, incremental load e CDC.
- ✓Experiência com processamento batch e streaming, processamento assíncrono e Event-Driven Architecture.
- ✓Experiência com AWS: S3, Lambda, SQS, RDS, CloudWatch e IAM.
- ✓Experiência com Git, GitHub, GitHub Actions e Docker.
- ✓Experiência com observabilidade de pipelines: logs, métricas, monitoramento e alertas.
- ✓Experiência com Data Quality, Data Lineage, Data Catalog, Data Governance e versionamento de dados.
- ✓Inglês intermediário ou superior.
- •Conhecimento em TypeScript e Node.js.
- •Experiência com AWS Analytics: Glue, Athena, EMR, Kinesis e Redshift.
- •Experiência com Kafka e RabbitMQ.
- •Experiência com Apache Airflow ou Prefect.
- •Experiência com Metabase, Power BI ou Looker Studio.
- •Experiência com Kubernetes.
- •Experiência com Apache Spark, Data Lakehouse, Apache Iceberg ou Delta Lake.
- •Experiência com Machine Learning Pipelines e Feature Store.
- •Vivência em fintechs, pagamentos, grandes volumes de eventos ou analytics em tempo real.
Benefícios
- ✓Horário flexível
- ✓Plano de carreira
- ✓PLR
Sobre a Empresa
Mais vagas na H&W Publishing →A H&W Publishing é uma holding inovadora com sede nos EUA, especializada em marketing de resposta direta e afiliados focado no mercado de nutracêuticos. Fundada por profissionais renomados do mercado digital, somos uma empresa jovem, dinâmica e profissional que rapidamente conquistou destaque no...[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
Vagas Relacionadas
Senior Data Quality Analyst
INDI Staffing Services
Senior Data Scientist - Women Applicants Only
QuintoAndar
Senior Data Engineer
BEES Brasil
Engenheiro de Dados Sr. | PJ
Mell.ro
Senior CRM Data Analyst
Massive Rocket
Analista de Business Intelligence (BI) – Pleno
SevenSys