Descrição da Vaga
O Grupo SysMap busca um(a) Engenheiro(a) de Dados Sênior para atuar no desenvolvimento, arquitetura e otimização de soluções de dados. O profissional será responsável por projetar, desenvolver e manter pipelines de dados escaláveis, garantindo qualidade, segurança, disponibilidade e performance no processamento de grandes volumes de informações, além de contribuir para a evolução e modernização da plataforma de dados.
Responsabilidades
- Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes.
- Implementar processos de ingestão, transformação e integração de dados utilizando arquiteturas batch e streaming.
- Desenvolver e otimizar soluções utilizando Cloudera, Databricks e serviços da AWS.
- Criar rotinas de processamento e transformação de dados utilizando Python, SQL e PySpark.
- Desenvolver e manter processos de ETL/ELT.
- Atuar com arquiteturas de Data Lake, Lakehouse e processamento distribuído.
- Integrar diferentes fontes de dados, garantindo a qualidade, a consistência e a confiabilidade das informações.
- Monitorar e otimizar a performance de pipelines, jobs e consultas.
- Aplicar boas práticas de segurança, governança, catalogação e linhagem de dados.
- Contribuir para a evolução da arquitetura de dados e para a melhoria contínua dos processos.
- Trabalhar em conjunto com equipes de arquitetura, analytics, ciência de dados e áreas de negócio.
Requisitos
- ✓Experiência sólida como Engenheiro(a) de Dados Sênior.
- ✓Conhecimentos em Cloudera e Databricks, com experiência em processamento e transformação de grandes volumes de dados.
- ✓Conhecimentos em AWS (Amazon Web Services) e em seus principais serviços aplicados à engenharia de dados.
- ✓Domínio de SQL e experiência com Python e PySpark.
- ✓Experiência com Apache Spark e processamento distribuído.
- ✓Conhecimento de processos e ferramentas de ETL/ELT.
- ✓Experiência com arquiteturas de Data Lake e Lakehouse.
- ✓Conhecimento de modelagem de dados e integração de diferentes fontes de informação.
- ✓Experiência com versionamento de código utilizando Git.
- ✓Conhecimento de monitoramento, troubleshooting e otimização de pipelines de dados.
- •Experiência com serviços AWS voltados a dados, como Amazon S3, AWS Glue, Amazon Redshift, AWS Lambda e Amazon Athena.
- •Conhecimento de serviços de processamento e orquestração de dados em ambientes cloud.
- •Experiência com Delta Lake e tecnologias do ecossistema Hadoop, como Hive, HDFS e Impala.
- •Conhecimento de Apache Kafka e processamento de dados em tempo real.
- •Experiência com Apache Airflow ou ferramentas similares de orquestração.
- •Conhecimento de práticas de CI/CD, infraestrutura como código e automação.
- •Experiência com governança, qualidade, segurança e observabilidade de dados.
- •Vivência em projetos de migração, modernização e integração de plataformas de dados.
Categorias
Sobre a Empresa
Mais vagas na Grupo SysMap →Somos o Grupo SysMap, formado pelas marcas SysMap Solutions, TriggoLabs e triggo.ai, um ecossistema de empresas de grande impacto no mercado, com soluções inovadoras em tecnologia que transformam negócios e desenvolvem pessoas.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
Vagas Relacionadas
Arquiteto de Dados Sênior | IA
Aggrandize
Analista de Engenharia de IA Sênior
Inmetrics
Engenheiro(a) de Dados Sênior (Databricks/Unity Catalog)
Stefanini Group
Analista de Inteligência Artificial - Sênior
Grupo Fácil
Engenheiro de Dados Sênior
Cadastra
Analista de Web Analytics Senior
Wicomm